使用 Scrapy 框架爬取土巴兔教程

这是使用 Python 构建分布式爬虫的理论篇，本文主要介绍分布式任务调度框架 celery 的使用。下一篇会以 celery 为核心写一个简单的分布式爬虫。最后实战篇会以分布式微博爬虫的用户抓取模块为例，讲解如何构建一个比较健壮且具有伸缩性的分布式爬虫（对微博相关数据有需要的同学可以先试用一下，觉得不错，可以给个 star。项目地址是：https://github.com/ResolveWang/WeiboSpider）

这是如何构建分布式爬虫（具体语言是 Python）的第二篇文章，本文会带大家构建一个极简分布式爬虫。第三篇实战篇会以微博数据采集为例，演示如何构建一个稳健且具有灵活性的分布式微博爬虫，敬请期待

最新的模拟知乎登陆

每天简单的练习没有意思，来试试这些练手项目，不仅能巩固知识，还能增加自己对项目的整体感觉。

这篇文章继续讲解如何一步步使用 Celery 构建分布式爬虫。

Python 爬虫入门，只需三步！