小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下四种组件： Scheduler Duplica

去重策略，默认不去重，每次采集独立，即每次启动 job 都会清空上一次未完成的 url，并且不保留 redis 中上一次已采集的 url 指纹。 布隆过滤器。 在 windows 环境下，使用 python3 连接 hive 会有很多坑，所以使用 hdfs 管道时，hive 自…

看小说是我这么多年来一直保持的习惯。《盘龙》、《斗破苍穹》、《仙逆》、《凡人修仙传》等等，陪伴了我整个学生时代。最近发现iOS上小说类app体验都不好，经常出现广告弹出、更新不及时、强制分享等情况。于是在一个下雨的晚上，我决定不再忍受这些app，自己强撸一个追书爬虫。 Scra…

在看过目录之后，读者可能会问为什么这个教程没有讲一个框架，比如说scrapy或者pyspider。在这里，我认为理解爬虫的原理更加重要，而不是学习一个框架。爬虫说到底就是HTTP请求，与语言无关，与框架也无关。 在本节，我们将用26行代码开发一个简单的并发的（甚至分布式的）爬虫…