【小白快速入门小程序爬虫】从零写起:高清壁纸小程序爬虫!!!

1,021 阅读3分钟

小知识,大挑战!本文正在参与“  程序员必备小知识  ”创作活动

本文同时参与 「掘力星计划」  ,赢取创作大礼包,挑战创作激励金

Code皮皮虾 一个沙雕而又有趣的憨憨少年,和大多数小伙伴们一样喜欢听歌、游戏,当然除此之外还有写作的兴趣,emm...,日子还很长,让我们一起加油努力叭🌈

如果觉得写得不错的话,球球一个关注哦😉

本文已经收录至【微信小程序爬虫专栏】,有兴趣者可前往查看,皮皮虾专栏种类繁多,各种爬虫应有尽有

点我,点我,快点我查看😁


爬前预热

微信搜索小程序

image-20211009164650712

打开小程序

虽然都是手机壁纸,但是此次爬虫为了入门,所以并不考虑那么多。

那我们就爬取这默认的最新壁纸叭。

image-20211009164813899


爬取分析

打开Fiddler抓包工具

image-20211009165632577

重新进入小程序,在Fiddler中查看请求情况

可以看到有两个请求是蓝色的,那么这个图片到底在那个请求中呢?

image-20211009165725106

那么,哪个请求是我们需要的呢?

小技巧,可以看到两个请求的Body大小差别很大,所以我断定,有图片的请求是Body大的那个

image-20211009165818317

image-20211009165948272

复制JSON数据来到在线JSON解析网站进行解析,得到如下结果

在右边的解析结果里可以看到,有着图片的URL

image-20211009170003375

拿到这些URL,进行访问,就得到了如下图片,哈哈,逻辑已经搞通了,那接下来我们就写代码吧,嘿嘿

image-20211009170113899


遇到的问题

image-20211009170335716

第一次遇到这个问题,咋也不懂,那直接百度!!!(遇事不决就百度,哈哈)

image-20211009170428969

随便点一个进去看看

OpenSSL.SSL.Error: [('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')](ssl证书问题) - 乔儿 - 博客园 (cnblogs.com)

原因人家已经说的很清楚了,小伙伴们自己看吧😁

该问题的原因是:因为网址使用了https,所以经过代理时会报错。报错原因是:Python3之关闭SSL证书验证

解决办法是:关闭验证SSL证书开关,verify:Ture/False,默认是Ture,用于验证SSL证书开关。例如:requests.get(url=url,headers=headers,verify=False)

image-20211009170536259


成果展示

image-20211009165346322

出于测试爬了5页

image-20211009165403878

image-20211009165418335

image-20211009165426800

效果不用我多说了吧,这部爽歪歪,既学知识又有高清壁纸,哈哈

美女真是养眼,哈哈🤣

image-20211009165437389


视频教学(附带源码)

【微信小程序爬虫】从零写起:高清壁纸小程序爬虫!!!_哔哩哔哩_bilibili

行不更名,坐不改姓,全网都是Code皮皮虾,觉得不错的,球球有一个一键三连哦,哈哈😁

image.png


💖最后

我是 Code皮皮虾,一个热爱分享知识的 皮皮虾爱好者,未来的日子里会不断更新出对大家有益的博文,期待大家的关注!!!

创作不易,如果这篇博文对各位有帮助,希望各位小伙伴可以一键三连哦!,感谢支持,我们下次再见~~~


一键三连.png