Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化，爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段，添加headers和ip代理可以解决很多问题。 本人自己在爬取豆瓣读书的时候,就以为爬取次数过多,直接被封了IP.后来就研究了代理…

Scrapy 官方有很经典的入门文档说明，这一篇仅仅是通过一个简单的实例来了解 Scrapy 这个库是如何来进行网络内容提取的，更深入的学习请阅读 Scrapy 官方文档。

当 F12 里查看器是看不到视频地址，如何爬取视频网站。