python获取爱彼迎民宿评价数据

如今出门旅游已经非常方便和普遍了，为追求更好的旅游体验，很多人都会选择住民宿，也会选择专业的平台订民宿，而爱彼迎是这几年非常热门的民宿订购平台，知名度很高，大家出游的时候有么有使用过呢？

今天我们就使用python来获取下大家在使用这个平台后的评价是什么样的吧，我们可以从官网入直接获取大众的评价数据，简单数据获取实现如下：

 #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://www.airbnb.cn/login?redirect_url=/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://www.airbnb.cn/login?redirect_url=/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

因为这个是国外的网站，频繁访问会受到ip限制，获取的数据量大也会触发网站的反爬机制，所以我们在访问的时候加入了代理，示例主要是加入了爬虫代理动态转发模式，由亿牛云代理提供。在获取数据后进行了分析，关于分析的结果我们下次再详细的分享。在爬虫实践过程中代理的使用是非常重要的，一般的网站都对ip进行了限制，这里给有需要的小伙伴推荐一家各方面都不错的代理www.16yun.cn/，需要的时候可以去咨询下。

​

若有收获，就点个赞吧