PyCharm创建Scrapy工程

小阿杰
1,171 阅读3分钟

这是我参与8月更文挑战的第23天，活动详情查看：8月更文挑战

前言

  网站处理语言和处理工作有很多，在网站数据提取中，常用的语言数Python的Scrapy框架使用最为广泛，本文将基于PyCharm创建Scrapy工程，下面来上重点。

Python

  Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言， 随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。 运行环境：

初识Scrapy

  Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy主要包含控件

  • Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
  • Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
  • Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
  • Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
  • Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
  • Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
  • Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

运行环境：

Anaconda 3
Windows 7 64bit
Python 3.64
Scrapy 1.50
twisted 18.4.0

快速开始

  在PyCharm中，进入左下角的Terminal中，（pycharm自带的命令窗口）

1.png

一、前期准备：（已经安装过的scrapy环境的可以不看版本）

1、查看Python版本：python

D:\PythonSpace\scrapyDemo>python

Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32

Type "help", "copyright", "credits" or "license" for more information.

2.png

2、查看scrapy版本在控制台python命令下

import scrapy

scrapy.version

'1.5.0'

3.png

3、查看twisted版本在控制台python命令下

import twisted

twisted.version

'18.4.0'

4.png

二、创建Scrapy工程

1、在PyCharm中，进入左下角的Terminal中，（pycharm自带的命令窗口）

5.png

2、进入将要创建的文件夹中

D:\PythonSpace>

3、键入：scrapy startproject scrspyDemo

6.png

创建工程成功：

D:\PythonSpace>scrapy startproject scrapyDemo

New Scrapy project 'scrapyDemo', using template directory 'D:\Anaconda\exe\lib\site-packages\scrapy-1.5.0-py3.6.egg\scrapy\templates\project', created in:

D:\PythonSpace\scrapyDemo

You can start your first spider with:

cd scrapyDemo

scrapy genspider example example.com

7.png

4、在新窗口打开工程即可

结语

  关于PyCharm创建Scrapy工程就已经介绍完了，相信大家对Scrapy工程创建有了初步的了解，更深入的Scrapy工程提取网站数据需要大家进一步去学习提高，当然作者也会提供相关学习经验，欢迎交流。

  作者介绍：【小阿杰】一个爱鼓捣的程序猿，JAVA开发者和爱好者。公众号【Java全栈架构师】维护者，欢迎关注阅读交流。

  好了，感谢您的阅读，希望您喜欢，如对您有帮助，欢迎点赞收藏。如有不足之处，欢迎评论指正。下次见。

avatar
文章
阅读
粉丝