现在有了一种新的数据爬虫方法,AI大模型MCP爬虫,比纯python爬虫库和采集器更好用。
我周末用了亮数据的爬虫MCP服务,可以用cursor、trae等编程agent调用,配置下Json文件就可以用。
这个MCP内置了各大电商、社媒等网站的采集api,自动化处理反爬机制,而且将数据集处理成结构化的json格式,只需要通过自然语言调用mcp就可以实现数据采集,比如电商的商品名称、价格等信息。
现在好像有5千次的免费mcp调用额度,羊毛可以薅一薅哈哈。
现在有了一种新的数据爬虫方法,AI大模型MCP爬虫,比纯python爬虫库和采集器更好用。
我周末用了亮数据的爬虫MCP服务,可以用cursor、trae等编程agent调用,配置下Json文件就可以用。
这个MCP内置了各大电商、社媒等网站的采集api,自动化处理反爬机制,而且将数据集处理成结构化的json格式,只需要通过自然语言调用mcp就可以实现数据采集,比如电商的商品名称、价格等信息。
现在好像有5千次的免费mcp调用额度,羊毛可以薅一薅哈哈。