scrapy工作流程描述（python）

scrapy工作流程

1. engine向spider请求第一个url

2. spider向engine发送 

3. engine让scheduler对request排序

4. scheduler将排序后的request返给engine

5. engine让downloader下载request

6. downloader下载好将response传给engine

7. engine将response交给spider去处理

8. spider处理后得到需继续跟进的url，还有解析获取得到的item，交个engine

9. engine将request交给scheduler处理，将item交给itempipelines

... ...开始循环直至调度器中没有待处理的request，下载失败的url会重新被下载