利用Python爬虫完美采集1688整站商品数据+商品详情数据+商品列表数据

环境：python3.6 ， 查看调用示例

目的：根据关键词在淘宝1688京东平台上搜索商品，并将商品的pid等信息抓取下来。

首先，我们打开首页，输入关键词：女装。↓↓↓

点击找一下，后会跳转到商品页面，如下图所示↓↓↓

这个时候我们就可以看到女装商品分类，和一些推荐商品，

接下来我们不要急着爬这些商品数据，我们要找的是这些商品的分类目录地址。

谷歌浏览器右击检查页面，仔细观察会发现，每个分类的商品都有对应的地址，例如：连衣裙，对应的地址如下

封装接口方法：

1. 请求方式：HTTP GET POST ；请求链接：c0b.cc/nIAWD4
2. 请求参数 （支持 taobao (tmall),JD,1688，Pinduoduo,lazada,amazon,aliexpress 等全球 30 多个知名电商平台数据，复制v:Taobaoapi2014 同样的方式拿数据） 请求参数：num_iid=610947572360 参数说明：num_iid:1688商品ID sales_data:&sales_data=1 获取近30天成交数据 agent:&agent=1 获取1688分销代发价格数据

3.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-gw.19970108018.cn/1688/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=610947572360"
headers = {
    "Accept-Encoding": "gzip",
    "Connection": "close"
}
if __name__ == "__main__":
    r = requests.get(url, headers=headers)
    json_obj = r.json()
    print(json_obj)