AI会改变前后端开发的工作模式，我发现现在不少爬虫工具也CLI 智能体化了，这几天用了Bright Data新出的爬虫CLI，几乎把Python爬虫能干的活都给干了，而且还能自动处理网页反爬限制，比如验证码、浏览器指纹、JS动态渲染、IP监测等。

看了Github readme，这个CLI不光可以一键采集任意网页，还能实现谷歌关键词搜索、AI智能查找排序，能提取40多个全球主流电商、社媒网站的结构化数据，比如亚马逊的商品信息、领英的职位信息等。