【Python爬虫】如何通过浏览器插件获取想要的数据

8 阅读1分钟

前沿

某司选品部小A每天都要去一个网站选爆品,工作时间都花在上边了,采集部小C,每天都要通过脚本去采集一个网站的数据,天天解决滑块,签名的问题,头发都快没了。就这样小A和小C各司其职,周而复始。突然有一天,小王出现了,给了小C一个脚本,让小C安装在小A的电脑上,此后,小C开启长达数年的日常划水。

1.如何实现?

谷歌插件API:
chrome.webRequest.onCompleted.addListener()
window.addEventListener("message", function(e){}

2.如何编码

截屏2024-11-27 17.28.40.png

3.效果展示

image.png

4.覆盖多种请求类型

有的网页前后端分离,靠xhr加载数据,但是也有靠服务端渲染的页面。比如

image.png

写在结尾

功能不是很复杂,后期可以配合基于webdrive开发的工具,做一些自动化的事情:比如:采集某店的商品列表,单个商品的信息,单个达人的信息等等。

希望能跟某些大佬产生共鸣,开启新篇章