Moon之上
软件工程师
|
小鹏汽车
技术永远服务业务
获得徽章 0
- 说下selenium和playwright的使用感受，这两是同一类自动化工具，都是靠操作浏览器请求数据，但他们都没法自己去处理反爬检测，很容易被判定为人机，然后被封掉ip。
怎么去解决呢？有两种方法，第一是自己去部署ip池，模仿人行为不定时切换，而且访问频率要控制。第二是直接用第三方的采集api，省去麻烦。
我比较喜欢用亮数据的数据抓取浏览器api，很适合去采集社媒、电商之类的复杂数据。
亮数据提供的是远程浏览器，操作和普通浏览器一样，但是它内嵌了多种高级的应对反爬虫机制的技术，可以自动识别并解锁验证码，自动切换动态住宅ip池，直接解析动态网页为json数据，模拟真人行为指纹等，会让爬虫更加简单，很轻松的处理检测问题。展开评论2 - #每天一个知识点# 想做个亚马逊商品监测的agent，不知道用Dify搭配亮数据的网页解锁APi能不能实现，因为我不太懂代码，所以想着直接用亮数据现成的采集接口，好像可以绕过爬虫检测，比较省心评论1
- #MCP 怎么玩# 最近被一个MCP种草了，能直接用它来进行谷歌搜索，还不需要啥辅助的。这个mcp是亮数据的bright data mcp，可以用Trae直接部署调用，它能绕过各种反爬机制，直接通过谷歌搜索来采集网页数据，还能自动化的抓取各种电商、社交媒体网站数据，很适合企业的爬虫任务，真的不用再写python脚本了。11
