#每天一个知识点# 怎么采集社交媒体帖子做AI模型训练数据？发现个好用的工具，最近帮朋友搭电商AI大模型，需要大量社媒上的帖子和评论做训练素材，自己写脚本要么爬不了几个就被限制，要么拿到的都是杂乱无章的内容，整理起来太费时间。后来试了亮数据的网页抓取API才搞定。它能直接对接TT、亚马逊这些常见平台，不用自己折腾代理和反爬设置。只需要提供目标URL，比如某个账号主页或话题页面，它就能按照设定的参数抓取内容。
展开
评论
1
- #每天一个知识点# 彻底卸载沉浸式翻译这个插件，会员太贵了
![[发怒]](//lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_12.0f24f23.png)
。我干脆自己做了一个，顺手接了蚂蚁的 Ling 3.0 Flash，Token 免费。2 赞 · 2 评论 - #每天一个知识点# 这几天尝试用Python写一个爬虫MCP，只是封装了简单的reqeusts请求和解析功能，所以采集的场景和范围很有限，后来干脆直接用了其他更成熟的爬虫MCP，像是Brightdata MCP，这个是真的好用，用抓取、搜索等功能可以直接绕过爬虫检测，还能进行谷歌搜索直接返回结果，比自己写爬虫强得多。3 赞 · 0 评论
- 我现在的思想是有钱才配谈结婚（至少100起步），是不是剑走偏锋了。。。10 赞 · 213 评论
![[发怒]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_12.0f24f23.png)
。我干脆自己做了一个，顺手接了蚂蚁的 Ling 3.0 Flash，Token 免费。