【Python爬虫必备—＞Scrapy框架快速入门篇——上】_scrpy框架教学

用户57923016702
121 阅读7分钟

在这里插入图片描述
原理描述：

  1. 爬虫中起始url构造的url对象–>爬虫中间件–>引擎–>调度器
  2. 调度器把request–>引擎–>下载中间件–>下载器
  3. 下载器发送请求，获取response响应—>下载中间件—>引擎–>爬虫中间件—>爬虫
  4. 爬虫提取url地址，组装成request对象—>爬虫中间件—>引擎—>调度器，重复步骤2
  5. 爬虫提取数据—>引擎—>管道处理和保存数据
注意：爬虫中间件和下载中间件只是运行的逻辑的位置不同，作用是重复的：如替换UA等！

 

🍌拓展——scrapy中三个内置对象：

三个内置对象：（scrapy框架中只有三种数据类型）

   request请求对象：由url，method，post_data，headers等构成；
   response响应对象：由url，body，status，headers等构成；
   item数据对象：本质是一个字典。

 

🎍第二部分：创建&&运行你的第一个scrapy项目！

 

🐱1.创建项目：

创建scrapy项目的命令：scrapy startproject <项目名字>
示例：


scrapy startproject myspider

生成的目录和文件结果如下：

在这里插入图片描述

 

🐹2.爬虫文件的创建：

在项目根路径下执行：

 scrapy genspider <爬虫名字> <允许爬取的域名>

示例：

cd myspider
scrapy genspider itcast itcast.cn

讲解：

  • 爬虫名字：作为爬虫运行时的参数；
  • 允许爬的域名：为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域名不同，则被过滤掉。

🐸3.运行scrapy爬虫：

命令：在项目目录下执行：
scrapy crawl <爬虫名字>

示例：

scrapy crawl itcast

不过，在运行之前，我们先要编写itcast.py爬虫文件：

# -\*- coding: utf-8 -\*-
import scrapy


class ItcastSpider(scrapy.Spider):
    # 爬虫运行时的参数
    name = 'itcast'
    # 检查允许爬的域名
    allowed_domains = ['itcast.cn']
    # 1.修改设置起始的url
    start_urls = ['见评论区']

    # 数据提取的方法：接收下载中间件传过来的response，定义对于网站相关的操作
    def parse(self, response):
        # 获取所有的教师节点
        t_list = response.xpath('//div[@class="li\_txt"]')
        print(t_list)
        # 遍历教师节点列表
        tea_dist = {}
        for teacher in t_list:
            # xpath方法返回的是选择器对象列表 extract()方法可以提取到selector对象中data对应的数据。
            tea_dist['name'] = teacher.xpath('./h3/text()').extract_first()
            tea_dist['title'] = teacher.xpath('./h4/text()').extract_first()
            tea_dist['desc'] = teacher.xpath('./p/text()').extract_first()
            yield teacher

然后再运行，会发现已经可以正常运行！
在这里插入图片描述 

🐻4.明确了爬虫所爬取数据之后，使用管道进行数据持久化操作：

修改itcast.py爬虫文件：

# -\*- coding: utf-8 -\*-
import scrapy
from ..items import UbuntuItem


class ItcastSpider(scrapy.Spider):
    # 爬虫运行时的参数
    name = 'itcast'
    # 检查允许爬的域名
    allowed_domains = ['itcast.cn']
    # 1.修改设置起始的url
    start_urls = ['见评论区']

    # 数据提取的方法：接收下载中间件传过来的response，定义对于网站相关的操作
    def parse(self, response):
        # 获取所有的教师节点
        t_list = response.xpath('//div[@class="li\_txt"]')
        print(t_list)
        # 遍历教师节点列表
        item = UbuntuItem()
        for teacher in t_list:
            # xpath方法返回的是选择器对象列表 extract()方法可以提取到selector对象中data对应的数据。
            item['name'] = teacher.xpath('./h3/text()').extract_first()
            item['title'] = teacher.xpath('./h4/text()').extract_first()
            item['desc'] = teacher.xpath('./p/text()').extract_first()
            yield item

注意：

  • scrapy.Spider爬虫类中必须有名为parse的解析；
  • 如果网站结构层次比较复杂，也可以自定义其他解析函数；
  • 在解析函数中提取的url地址如果要发送请求，则必须属于allowed_domains范围内，但是start_urls中的url地址不受这个限制；
  • 启动爬虫的时候注意启动的位置，是在项目路径下启动；
  • parse()函数中使用yield返回数据，注意：解析函数中的yield能够传递的对象只能是：BaseItem, Request, dict, None。

小知识点1——定位元素以及提取数据、属性值的方法：
（解析并获取scrapy爬虫中的数据: 利用xpath规则字符串进行定位和提取）

  • response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法；
  • 额外方法extract()：返回一个包含有字符串的列表；
  • 额外方法extract_first()：返回列表中的第一个字符串，列表为空没有返回None。

小知识点2——response响应对象的常用属性：

  • response.url：当前响应的url地址
  • response.request.url：当前响应对应的请求的url地址
  • response.headers：响应头
  • response.requests.headers：当前响应的请求头
  • response.body：响应体，也就是html代码，byte类型
  • response.status：响应状态码

 

🐮5.管道保存数据

在pipelines.py文件中定义对数据的操作！

  1. 定义一个管道类；
  2. 重写管道类的process_item方法；
  3. process_item方法处理完item之后必须返回给引擎。

♥️初级篇：

在这里插入图片描述

♥️进阶篇：

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM\_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import json


class UbuntuPipeline(object):

    def \_\_init\_\_(self):
        self.file = open('itcast.json', 'w', encoding='utf-8')

    def process\_item(self, item, spider):
        # 将item对象强制转为字典，该操作只能在scrapy中使用
        item = dict(item)
        # 爬虫文件中提取数据的方法每yield一次，就会运行一次
        # 该方法为固定名称函数
        # 默认使用完管道，需要将数据返回给引擎
        # 1.将字典数据序列化
        '''ensure\_ascii=False 将unicode类型转化为str类型，默认为True'''
        json_data = json.dumps(item, ensure_ascii=False, indent=2) + ',\n'

        # 2.将数据写入文件
        self.file.write(json_data)

        return item

    def \_\_del\_\_(self):
        self.file.close()

 

🐒6.settings.py配置启用管道：

在settings文件中，解封代码，说明如下：

在这里插入图片描述

🐫7.scrapy数据建模与请求：

（通常在做项目的过程中，在items.py中进行数据建模！）

💊（1）为什么建模？

  1. 定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查，值不相同会报错；
  2. 配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替；
  3. 使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类。

💊（2）本项目中实操：

在items.py文件中操作：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class UbuntuItem(scrapy.Item):
    # 讲师名字
    name = scrapy.Field()
    # 讲师职称
    title = scrapy.Field()
    # 讲师座右铭
    desc = scrapy.Field()

注意：

  1. from …items import UbuntuItem这一行代码中 注意item的正确导入路径，忽略pycharm标记的错误；
  2. python中的导入路径要诀：从哪里开始运行，就从哪里开始导入。

🏃8.设置user-agent：

# settings.py文件中找到如下代码解封，并加入UA:
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,\*/\*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36',
}

 

🔮9.到目前为止，一个入门级别的scrapy爬虫已经OK了，基操都使用了！

如何run呢？

现在cd到项目目录下，输入

scrapy crawl itcast

即可运行scrapy！

在这里插入图片描述 

🐱10.开发流程总结：

  1. 创建项目：
    scrapy startproject 项目名
  2. 明确目标：
    在items.py文件中进行建模！
  3. 创建爬虫：

创建爬虫：
scrapy genspider 爬虫名 允许的域名
完成爬虫：
修改start_urls； 检查修改allowed_domains； 编写解析方法！ 4. 保存数据：
在pipelines.py文件中定义对数据处理的管道
在settings.py文件中注册启用管道

结语：

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

了解详情：docs.qq.com/doc/DSnl3ZG…

avatar
文章
阅读
粉丝