这篇文章包含了爬虫思路，Spiders 逻辑，MySQL 存储，自定义模块进行存储和断点续爬。

最近在学 Python，同时也在学如何使用 python 抓取数据，于是就被我发现了这个非常受欢迎的 Python 抓取框架 Scrapy，下面一起学习下 Scrapy 的架构，便于更好的使用这个工具。

利用 scrapy 框架爬去知乎用户关系网和头像

scrapy 的登陆问题

使用 Scrapy 框架爬取土巴兔教程

本篇会通过介绍一个简单的项目，走一遍 Scrapy 抓取流程，通过这个过程，可以对 Scrapy 对基本用法和原理有大体的了解，作为入门。

本文全面的介绍了爬虫的原理、技术现状、以及目前仍面临的问题。如果你没接触过爬虫，本文很适合你，如果你是一名资深的虫师，那么文末的彩蛋你可能感兴趣。

Scrapy 官方有很经典的入门文档说明，这一篇仅仅是通过一个简单的实例来了解 Scrapy 这个库是如何来进行网络内容提取的，更深入的学习请阅读 Scrapy 官方文档。

不想当将军的士兵不是好士兵，同理，不想当主程的程序员不是好程序员~