列文

scrapy是一个非常强大的异步爬虫框架，组件丰富，我们只需要关注爬虫的逻辑即可。本文通过一个scrapy项目实战，来熟悉scrapy的使用 这个文件比较重要，里面对了很多配置信息。、实际上就是很多的变量 先前提过，scrapy中自动生成了很多文件其中有一个名字为item，这个…

在定义pipline时，只需要定义一个类并实现process_item(self, item, spider)方法，参数中的item就是爬取到的每一个数据对象，spider是爬虫的实例。该方法主要有两种返回值：

知乎用户信息是非常大的，本文是一个scrapy实战：怎样抓取所有知乎用户信息。 对于一个关注者，我们只需要获取该用户的url-token*，通过url-token即可拼接出该用户的主页，也就可以获得该用户的基本信息，以及关注者列表等。 因此依据is_end字段就可以判断是否下一…

scrapy是一个强大的异步爬虫框架，具有丰富的组件，有了scrapy框架，我们只需要关心爬虫的逻辑就可以了。 scrapy的安装有多种方式,它支持 Python2.7版本及以上或 Python3.3版本及以上。下面说明 Python3环境下的安装过程 scrap依赖的库比较多…

本文通过分析Ajax请求，然后使用requests来爬取今日头条街拍美图数据。有些网页直接请求并没有包括我们在浏览器中看到的内容，这是因为这些信息是通过Ajax加载，并且通过js渲染生成的，这时候就需要我们分析网页的请求。 实际上改变offset就可以获取到对应返回的json数…

使用Selenium+chrome/PhantomJS爬取京东零食。 京东的页面比较复杂：含有各种请求参数、加密参数，如果直接请求或者分享Ajax的话会非常的繁琐，Selenium是一个自动化测试工具，可以驱动浏览器完成各种操作：模拟点击、输入、下滑等各种功能，如此一来，我们只…

Requests 是⽤用Python语⾔言编写，基于 urllib，采⽤ Apache2 Licensed 开源协议的 HTTP 库。 HTTP 测试需求。 上面这种拼接参数的方式可能不太方便，下面是另外一种带参数get请求发起的方式，与上面是等价的。 Redirection.…

之前介绍了Beautifulsoup库，这个库可以让我们不写繁杂的正则表达式就可以爬取数据。但是你可能会觉得Beautifulsoup库不太好用，语法太繁杂，难记。今天介绍一个灵活又强大的网页解析库PyQuery。 如果你熟悉jQuery的语法，那么PyQuery就是爬虫的绝佳…

上一次介绍正则表达式的时候，分享了一个爬虫实战，即爬取豆瓣首页所有的：书籍、链接、作者、出版日期等。在上个实战中我们是通过正则表达式来解析源码爬取数据，整体来说上次实战中的正则表达式是比较复杂的，所以引入了今天的主角BeautifulSoup：它是灵活方便的网页解析库，处理高效…