在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。 请确保Splash已经正确安装并正…

大家在读 爬虫系列 的帖子时常常问我怎样写出不阻塞的爬虫，这很难，但可行。通过实现一些小策略可以让你的网页爬虫活得更久。那么今天我就将和大家讨论这方面的话题。

为啥要写这篇文章，就是为了让你上『最强王者』！ Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署， ，有几篇文章说，用Scrapyd，但是，他们都只是简单…

接下来，我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫，Scrapy-Redis库已经正确安装。 要实现分布式部署，多台主机需要共享爬取队列和去重集合，而这两部分内容都是存于Redis数据库中的，我们需要搭建一个可公网访问的…

手动闭合dd后通过etree.HTML把HTML转为XML，利用xpath语法可以快速匹配我们需要的节点。 我们可以看到电影数据都是在dd里面，评分分为 暂无评分 和 具体评分 2种，父元素是dl，而它的class[movie-list]在页面只有一个。 自此已经可以请求网页并…

很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看…