爬取百度搜索图片的缩略图

pythonputao
361 阅读3分钟

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理

作者：stones4zd 来源：CSDN

本文链接：blog.csdn.net/weixin\_427…

找图，通过百度之类的搜索引擎最方便。

如何爬取百度搜索的图片，也是一个有意思的话题。

进入百度图片，随便输入搜索内容，比如“美女”。

打开 F12 ，查看 network ，选择 XHR，查看 AJAX 加载项。会发现，有一个 JSON 文件。随着页面向下滚动，JSON 会依次加载。说明，这个 JSON 就是跟图片内容有关的JSON。

分析 JSON 路径：

https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8249781613697439763&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%BE%8E%E5%A5%B3&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E7%BE%8E%E5%A5%B3&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn=30&rn=30&gsm=1e&1609213971470=

参数 word 和 queryWord 后面的内容就是专为地址码的“美女”汉字。

选中这个 JSON，对数据进行分析。在右边会发现很多属性值是地址，其中一个 thumbURL 就存储了搜索的缩略图地址。这个就是我们要找的目标~！ 我们的目的是把缩略图爬下来~

​

开始编码，用到的知识点：

1. urllib.parse 模块，把汉字换位 URL地址码

2. requests 模块，爬取 JSON 和图片。

3. re 模块，利用正则表达式在 JSON 中抽取缩略图地址。

具体代码如下。

  1. # 设置headers 为了防止反扒，设置多个headers

  2. # chrome，firefox，Edge

  3. headers = [

  4. {

  5. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',

  6. 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

  7. 'Connection': 'keep-alive'

  8. },

  9. {

  10. "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0',

  11. 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

  12. 'Connection': 'keep-alive'

  13. },

  14. {

  15. "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19041',

  16. 'Accept-Language': 'zh-CN',

  17. 'Connection': 'keep-alive'

  18. }

  19. ]

  21. cn = input("请输入要搜索的图片：")

  22. bfb = urllib.parse.quote(cn) # 转码

  23. print( bfb )

  24. # print( urllib.parse.unquote(bfb) ) # 解码

  26. # 百度检索结果 json 路径

  27. webURL = r"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10895392189573015052&ipn=rj&ct=201326592&is=&fp=result&queryWord={bfb}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word={bfb}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn={page}&rn=30&gsm=1e&1608997121898=".format(bfb=bfb, page=1*30)

  29. # 获取 json 内容

  30. req = requests.get(url=webURL, headers=random.choice(headers))

  31. req.encoding = req.apparent_encoding # 防止中文乱码

  32. webJSON = req.text

  34. # 获取图片 list。图片地址都在 "thumbURL":"xxxx" 里面。这里只需要缩略图。

  35. # 利用正则表达式获取图片路径

  36. imgurlReg = '"thumbURL":"(.*?)"'

  37. picList = re.findall(imgurlReg, webJSON, re.DOTALL | re.I)

  39. # 请求每张图片

  40. for item in picList:

  41. img_req = requests.get(url=item, headers=random.choice(headers))

  42. imgFile = "img/"+item.split("/")[-1]

  43. # 下载图片

  44. with open(imgFile, "wb") as f:

  45. f.write(img_req.content)

  46. print(item+" 下载完毕")

​

完美。

avatar
文章
阅读
粉丝