这是使用 Python 构建分布式爬虫的理论篇，本文主要介绍分布式任务调度框架 celery 的使用。下一篇会以 celery 为核心写一个简单的分布式爬虫。最后实战篇会以分布式微博爬虫的用户抓取模块为例，讲解如何构建一个比较健壮且具有伸缩性的分布式爬虫（对微博相关数据有需要的同学可以先试用一下，觉得不错，可以给个 star。项目地址是：https://github.com/ResolveWang/WeiboSpider）