resolvewang

昨日使用haipproxy作为代理源，对知乎进行了数据抓取相关的性能测试，测试效果还不错，有兴趣的可以点击项目主页查看测试结果。但是它仍有继续优化的空间，所以笔者打算单独写一篇文章来单独阐述它现有的IP筛选策略，也就是题目说的高可用策略。而关于部署的高可用后续文章会谈及到，这里…

历时大致两个月，到现在终于完成了高可用分布式代理IP池，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些…

本文是本系列文章的最后一篇，从微博数据抓取的角度讲解如何构建一个健壮、灵活的分布式爬虫

这是如何构建分布式爬虫（具体语言是 Python）的第二篇文章，本文会带大家构建一个极简分布式爬虫。第三篇实战篇会以微博数据采集为例，演示如何构建一个稳健且具有灵活性的分布式微博爬虫，敬请期待

这是使用 Python 构建分布式爬虫的理论篇，本文主要介绍分布式任务调度框架 celery 的使用。下一篇会以 celery 为核心写一个简单的分布式爬虫。最后实战篇会以分布式微博爬虫的用户抓取模块为例，讲解如何构建一个比较健壮且具有伸缩性的分布式爬虫（对微博相关数据有需要的同学可以先试用一下，觉得不错，可以给个 star。项目地址是：https://github.com/ResolveWang/WeiboSpider）