apify是一个基于NodeJS的爬虫框架，它集成了puppeteer，cheerio等常应用于爬虫服务的NodeJS库，致力于填补复杂场景下的web页面爬虫服务上的功能空白，如通用的爬虫任务入口、爬虫任务的错误捕获和重试、爬虫任务队列/列表、爬虫内部状态监控以及代理池等。 提…

爬虫就是通过发送一个url请求给服务器然后获取html字符串，然后分析html字符串提取有用的信息。在这个过程中我们定义了爬虫的类以及分析获取的类，这采用了组合设计模式，方便扩展。

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

“一个程序员写了个爬虫程序，整个公司200多人被端了。” 刚从朋友听到这个消息的时候，我有点不太相信，做为一名程序员来讲，谁还没有写过几段爬虫呢？只因写爬虫程序就被端有点夸张了吧。 朋友说，消息很确认并且已经进入等待审判阶段了。 朋友认识几个律师朋友，和他们有一些业务来往，得知…