#每天一个知识点# 最近用了一个新的采集工具Flume，有点类似python里的scrapy爬虫框架，可以请求、解析、存储数据，也是数据流的模式运行，但Flume可以对接大数据框架，这是scrapy不能做的。
从爬虫角度来看，Flume应该也需要应对各种反爬的限制，比如验证码、人机识别、动态网页等，我一般会结合python和亮数据api处理反爬。
亮数据是专门的数据采集和ip代理服务工具，它的采集api可以自动切换稳定的住宅ip池，保证模拟真人访问不被卡，而且它还可以解锁各种人机验证，省去自己撸代码的功夫。如果你想偷懒，还可以用亮数据的mcp直接采集数据，自然语言就可以执行任务。

#每天一个知识点# 现在的应用开发真的变天了，用mcp+skills可以搞定很多工作，不再是传统的软件开发套路了。比如说我上周搭建了一个商品价格检测系统，用的bright data mcp来采集跨境平台的商品信息，可以实时返回字段信息，而且brightdata能绕过爬虫检测，不会被拦截。然后我写一个skills，让它按规范去访问和收集数据，并返回excel发送到飞书，效率高的飞起。