Scrapy框架的使用之Scrapy框架介绍

·  阅读 3068

Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

首先我们看看Scrapy框架的架构,如下图所示。

它可以分为如下的几个部分。

  • Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。

  • Item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。

  • Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。

  • Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。

  • Spiders。蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。

  • Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。

  • Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。

  • Spider Middlewares。蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

2. 数据流

Scrapy中的数据流由引擎控制,数据流的过程如下。

  • Engine首先打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个要爬取的URL。

  • Engine从Spider中获取到第一个要爬取的URL,并通过Scheduler以Request的形式调度。

  • Engine向Scheduler请求下一个要爬取的URL。

  • Scheduler返回下一个要爬取的URL给Engine,Engine将URL通过Downloader Middlewares转发给Downloader下载。

  • 一旦页面下载完毕,Downloader生成该页面的Response,并将其通过Downloader Middlewares发送给Engine。

  • Engine从下载器中接收到Response,并将其通过Spider Middlewares发送给Spider处理。

  • Spider处理Response,并返回爬取到的Item及新的Request给Engine。

  • Engine将Spider返回的Item给Item Pipeline,将新的Request给Scheduler。

  • 重复第二步到最后一步,直到Scheduler中没有更多的Request,Engine关闭该网站,爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持,Scrapy最大限度地利用了网络带宽,大大提高了数据爬取和处理的效率。

3. 项目结构

Scrapy框架和pyspider不同,它是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

scrapy.cfg
project/
    __init__.py
    items.py
    pipelines.py
    settings.py
    middlewares.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...复制代码

这里各个文件的功能描述如下。

  • scrapy.cfg:它是Scrapy项目的配置文件,其内定义了项目的配置文件路径、部署相关信息等内容。

  • items.py:它定义Item数据结构,所有的Item的定义都可以放这里。

  • pipelines.py:它定义Item Pipeline的实现,所有的Item Pipeline的实现都可以放这里。

  • settings.py:它定义项目的全局配置。

  • middlewares.py:它定义Spider Middlewares和Downloader Middlewares的实现。

  • spiders:其内包含一个个Spider的实现,每个Spider都有一个文件。

4. 结语

本节介绍了Scrapy框架的基本架构、数据流过程以及项目结构。后面我们会详细了解Scrapy的用法,感受它的强大。



本资源首发于崔庆才的个人博客静觅: Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯,请关注我的个人微信公众号:进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)


分类:
后端
收藏成功!
已添加到「」, 点击更改