EeTze

为了更好的讨论规范带来的争议及问题，现已把该文档整理并开源到 github，关于大家补充及提 issue。 在通过 API 于后端服务通信的过程中，应该 使用 HTTPS 协议。 所有的 API 必须保持向后兼容，你 必须 在引入新版本 API 的同时确保旧版本 API 仍然可…

我们可以通过Scrapyd-Client将Scrapy项目部署到Scrapyd上，并且可以通过Scrapyd API来控制Scrapy的运行。那么，我们是否可以做到更优化？方法是否可以更方便可控？ 我们重新分析一下当前可以优化的问题。 使用Scrapyd-Client部署时，需…

Scrapy抓取页面的方式和请求库类似，都是直接模拟HTTP请求，而Scrapy也不能抓取的JavaScript动态渲染的页面。在前文中抓取的JavaScript渲染的页面有两种方式。一种是分析的Ajax请求，找到其对应的接口抓取，Scrapy同样可以用此种方式抓取。另一种是直…

在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。 请确保Splash已经正确安装并正…

通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。 如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取出来作为单独的配置，如爬取规则、页面解析方式等抽离出来做成一…

前面讲解了Scrapy中各个模块基本使用方法以及代理池、Cookies池。接下来我们以一个反爬比较强的网站新浪微博为例，来实现一下Scrapy的大规模爬取。 本次爬取的目标是新浪微博用户的公开基本信息，如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等，这些信息抓取之后保存…

接下来，我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫，Scrapy-Redis库已经正确安装。 要实现分布式部署，多台主机需要共享爬取队列和去重集合，而这两部分内容都是存于Redis数据库中的，我们需要搭建一个可公网访问的…

分布式爬虫完成并可以成功运行了，但是有个环节非常烦琐，那就是代码部署。 我们设想下面的几个场景。 如果采用上传文件的方式部署代码，我们首先将代码压缩，然后采用SFTP或FTP的方式将文件上传到服务器，之后再连接服务器将文件解压，每个服务器都需要这样配置。 如果采用Git同步的方…

这里有现成的工具来完成部署过程，它叫作Scrapyd-Client。本节将简单介绍使用Scrapyd-Client部署Scrapy项目的方法。 请先确保Scrapyd-Client已经正确安装。 Scrapyd-Client为了方便Scrapy项目的部署，提供如下两个功能。 将…