爬虫

@TOC 需求 在《行百里者半九十 —— scrapy 框架（6）》一文中我们介绍了下载中间件的作用，并演示了其中拦截响应的代码实现。 现在我们来试着实现拦截请求的代码实现，也就是UA池和代理池的实现

@[TOC](CrawlSpider 实现全站数据爬取) CrawlSpider 介绍 全站数据爬取的方式 CrawlSpider（Spider 的一个子类）的使用 需求 使用 CrawlSpider

@TOC scrapy 五大核心组件 引擎（Scrapy） 用来处理整个系统的数据流量，触发事务（框架核心） 调度器（Scheduler） 用来接受引擎发送的请求，压入队列中，并在引擎再次请求的时候返

@TOC 需求 爬取站长素材中的图片 图片数据爬取之ImagesPipeline scrapy爬取图片 xpath 解析出图片 src 的属性值。单独对图片地址发起请求获取图片二进制类型的数据。 Im

@TOC 目的 爬取校花网中全部照片的名称，以生活照为例。 思路分析 如果不用 scrapy 框架实现全站数据爬取其实是简单的，只要找到网址的规律一直遍历就行。那么如果要用scrapy框架实现全站数据

@[TOC](scrapy 持久化存储（以糗事百科为例）) 前言 不知道大家还记得爬虫万能的三步骤吗？没错，那就是指定URL，发送请求，持久化保存数据。 我们前面在 scrapy框架（1）中简单了解了

@[TOC](scrapy 框架初识) 安装 如果没记错，python 3.6 及以上版本可以直接用 pip install scrapy.但具体是从哪个版本开始可以这样我也不是很清楚，因为我使用的

@[TOC](selenium 综合应用 （2）) 需求 模拟登录 12306 注意：目的在于验证码的识别。因为除了点击，12306在登录后还存在滑块验证码。本篇文章并不涉及滑块验证码。 代码分析 首

@[TOC](selenium 综合应用（1）) 需求 模拟浏览器，从京东首页开始输入关键词，爬取两页商品的名称、价格和一页评价（只包括文字，不包括视频）。评价包括用户的名称和星数。 网页分析 首先定

@[TOC](selenium 模块（4）) 几句题外话 因为准备期末考试的缘故，有一段时间没有写博文了，今天认真一看竟然已经有一个月没有写了。虽然我的博文只有零零总总几人看过，但期间有位大佬 “催更

@[TOC](selenium 模块自动化操作（2）（以京东为例）) 页面滚动 我们首先打开京东的页面，随便输入一个商品名称会看到如下的页面。 我们可以先数一数页面有多少商品。 如果我们使用滚轮滚动，

@[TOC](selenium 自动化操作（1）（以百度翻译为例）) 我们运行程序发现我们使用 selenium 请求到的网页和我们自己打开的网页有一点不同。 使用 selenium 请求到的网页多了

@[TOC](selenium 模块) 简单介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质

@[TOC](使用 aiohttp 完成异步爬取图片) 代码演示 看一下运行结果 @[TOC](使用 aiohttp 完成异步爬取图片) # 代码演示

resquests 协程的尝试 前面我们学习了协程的简单的语法，以及写了一段代码实现了简单的协程。而我们的目的是为了实现异步爬虫。所以我们就用 requests 模块尝试一下协程 flask服务 首先

什么是协程 简单来说，协程就是同时开启多个任务，但一次只顺序执行一个。等到所执行的任务遭遇阻塞，就切换到下一个任务继续执行，以期节省下阻塞所占用的时间。 简单说明 简单的代码示例 我们可以看看运行的结

爬取人人网用户个人页面 如图的页面是我们这次需要爬取的页面，即人人网的个人页面 一开始我们的想法是利用爬虫模拟登录，然后再获取我们需要爬取的网页页面。 想到这里，我们就先来写代码吧。 然后我们看看运行

模拟登录人人网 前面我们学习了使用第三方平台实现验证码的识别，那现在就让我们来用验证码的识别实现人人网的登录。 首先我们先到人人网的登录页面去踩点。

验证码识别 我们使用爬虫时很有可能需要登录，而现在的平台登陆时都需要验证码才能完成登录，所以我们使用爬虫模拟登录时验证码是必须要跨过的坎。一般情况下