12月7日,新的关于进一步优化落实新冠肺炎疫情防控措施的通知,不再对跨地区流动人员查验核酸检测阴性证明和健康码,不再开展落地检。
消息发布后,数据显示携程平台上的机票瞬时搜索量猛增160%,其中,春节前夕(腊月二十五-除夕)的机票搜索量暴涨至三年以来最高点。并且同程旅行平台大交通综合搜索量快速上涨,机票瞬时搜索量较前日同一时段上涨438%,火车票瞬时搜索量上涨276%。
刚好最近在做爬虫项目也相关数据的,这里顺便也爬取一些机票数据供大家参考下,最近返乡人员比较多或许能有帮助。首先来观察下携程的航班信息网页,发现网站有反爬机制,不过不是很难,只要加上代理IP的辅助就可以进行数据获取。这里我们可以根据自始发地和到达地,日期来爬取出机票价格,时间,航班,而且直接保存到excel里面。接下来就使用python+爬虫隧道代理获取数据的代码如下:
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
优化政策下不仅是机票搜索量猛增,很多地区地旅游预订恢复显著,说明人们对明年的出行呈现乐观预期,“过年”市场或成为旅游复苏最重要转折点。关于更多的爬虫知识感兴趣的可以私信交流或者搜索亿牛云了解。