首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
元兮
Nest图书作者 @攻粽号:元兮说
·
2年前
关注
屏蔽作者: 元兮
举报
掘金给我发工资 那我算不算属于字节的员工了
#每天一个知识点#
收起
查看大图
向左旋转
向右旋转
上班摸鱼
等人赞过
分享
12
10
相关推荐
#每天一个知识点#
最近用了一个新的采集工具Flume,有点类似python里的scrapy爬虫框架,可以请求、解析、存储数据,也是数据流的模式运行,但Flume可以对接大数据框架,这是scrapy不能做的。
从爬虫角度来看,Flume应该也需要应对各种反爬的限制,比如验证码、人机识别、动态网页等,我一般会结合python和亮数据api处理反爬。
亮数据是专门的数据采集和ip代理服务工具,它的采集api可以自动切换稳定的住宅ip池,保证模拟真人访问不被卡,而且它还可以解锁各种人机验证,省去自己撸代码的功夫。如果你想偷懒,还可以用亮数据的mcp直接采集数据,自然语言就可以执行任务。
3 赞 ·
0 评论
#每天一个知识点#
找工作的常用网站有哪些?
智联招聘:
www.zhaopin.com
前程无忧:
www.51job.com
BOOS直聘:
www.zhipin.com
领英:
www.linkedin.cn
脉脉:
maimai.cn
拉钩网:
www.lagou.com
猎聘:
www.liepin.com
4 赞 ·
7 评论
#每天一个知识点#
现在的应用开发真的变天了,用mcp+skills可以搞定很多工作,不再是传统的软件开发套路了。比如说我上周搭建了一个商品价格检测系统,用的bright data mcp来采集跨境平台的商品信息,可以实时返回字段信息,而且brightdata能绕过爬虫检测,不会被拦截。然后我写一个skills,让它按规范去访问和收集数据,并返回excel发送到飞书,效率高的飞起。
0 赞 ·
1 评论