世界的隐喻

@TOC 需求 在《行百里者半九十 —— scrapy 框架（6）》一文中我们介绍了下载中间件的作用，并演示了其中拦截响应的代码实现。 现在我们来试着实现拦截请求的代码实现，也就是UA池和代理池的实现

@[TOC](CrawlSpider 实现全站数据爬取) CrawlSpider 介绍 全站数据爬取的方式 CrawlSpider（Spider 的一个子类）的使用 需求 使用 CrawlSpider

@TOC scrapy 五大核心组件 引擎（Scrapy） 用来处理整个系统的数据流量，触发事务（框架核心） 调度器（Scheduler） 用来接受引擎发送的请求，压入队列中，并在引擎再次请求的时候返

@TOC 需求 爬取站长素材中的图片 图片数据爬取之ImagesPipeline scrapy爬取图片 xpath 解析出图片 src 的属性值。单独对图片地址发起请求获取图片二进制类型的数据。 Im

@TOC 目的 爬取校花网中全部照片的名称，以生活照为例。 思路分析 如果不用 scrapy 框架实现全站数据爬取其实是简单的，只要找到网址的规律一直遍历就行。那么如果要用scrapy框架实现全站数据

@[TOC](scrapy 持久化存储（以糗事百科为例）) 前言 不知道大家还记得爬虫万能的三步骤吗？没错，那就是指定URL，发送请求，持久化保存数据。 我们前面在 scrapy框架（1）中简单了解了

@[TOC](scrapy 框架初识) 安装 如果没记错，python 3.6 及以上版本可以直接用 pip install scrapy.但具体是从哪个版本开始可以这样我也不是很清楚，因为我使用的

@[TOC](selenium 综合应用 （2）) 需求 模拟登录 12306 注意：目的在于验证码的识别。因为除了点击，12306在登录后还存在滑块验证码。本篇文章并不涉及滑块验证码。 代码分析 首

@[TOC](selenium 综合应用（1）) 需求 模拟浏览器，从京东首页开始输入关键词，爬取两页商品的名称、价格和一页评价（只包括文字，不包括视频）。评价包括用户的名称和星数。 网页分析 首先定