电热毯、取暖器、热水袋、暖手宝、秋衣秋裤、保暖丝袜、法兰绒睡衣、高领毛衣——严冬将至,在能源危机下的热力供应缺口和巨额取暖账单面前,欧洲民众将目光投向中国的“过冬八件套”。欧洲能源危机和极寒天气给中国取暖产业带来了商机,而“过冬八件套”能够迅速生产、抢占市场,据我国某本土跨境平台提供的数据显示,10月以来过冬保暖产品销量环比都有所增长。在疫情经济的影响下,这或许也是一个新的机遇。
今天我们就利用python爬虫获取一些以往冬天冬季取暖产品的出口销量。来分析下今年的出口爆单是否真的是一个机遇。这里我们可以通过获取速卖通上的交易数据来进行分析, 全球速卖通曾被看作是国际版的淘宝,也是国内最大的跨境电商平台之一。在吗获取数据之前简单的分析了下网站,反爬机制比较严,特别是对IP的访问限制更严,在获取数据的过程中加了代理IP。现在的代理IP相对以前更难选了,好的代理实在太少,好友推荐了亿牛云,所以这里刚好可以实验一下代理质量。这里使用到的是亿牛云的爬虫代理,使用方式如下:
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
速卖通之前也有一些爬虫朋友反应过比较难采集,但是使用了亿牛云代理发现效果还不错,所以这里也推荐给大家了解下,有需要高质量爬虫代理IP的可以咨询下他们家www.16yun.cn/,具体的产品介绍可以跟官方客服沟通测试。