【爬虫开发】爬虫开发从0到1全知识教程第2篇：requests模块,requests模块【附代码文档】

程序员一诺python
76 阅读1分钟

教程总体简介：爬虫概述 1. 爬虫的概念 爬虫基础 http协议复习 1. http以及https的概念和区别 2. 爬虫特别关注的请求头和响应头 3. 常见的响应状态码 4. 浏览器的运行过程 5. 关于http协议的其它参考阅读 Mongodb数据库 介绍 内容 mongodb的聚合操作 2 mongodb的常用管道和表达式 3 管道命令之$group 7 管道命令之$skip 和 $limit 8 小结 小结 scrapy爬虫框架 利用appium抓取app中的信息 利用appium自动控制移动设备并提取数据 2.1 安装appium-python-client模块并启动已安装好的环境 2.2 初始化以及获取移动设备分辨率 2.3 定位元素以及提取文本的方法 2.4 控制抖音app滑动 2.5 整理并完成自动滑动的代码 2.6 关于模拟式移动端爬虫的参考阅读 requests模块 数据提取概述 1. 响应内容的分类 2. 认识xml以及和html的区别 2.1 认识xml 2.3 常用数据解析方法 数据提取-jsonpath模块 1. jsonpath模块的使用场景 数据提取-lxml模块 1. 了解 lxml模块和xpath语法 2. 谷歌浏览器xpath helper插件的安装和使用 3. xpath的节点关系 4. xpath语法-基础节点选择语法 4.1 xpath定位节点以及提取属性或文本内容的语法 4.2 语法练习 7. lxml模块的安装与使用示例 7.2 爬虫对html提取的内容 8 练习 10. lxml模块中etree.tostring函数的使用 10.1 现象和结论 selenium的介绍 1. selenium运行效果展示 3. selenium的安装以及简单使用 获取当前标签页的全部cookie信息 把cookie转化为字典 删除所有的cookie 显式等待 参数20表示最长等待20秒 参数0.5表示0.5秒检查一次规定的标签是否存在 EC.presence_of_element_located((By.LINK_TEXT, '好123')) 表示通过链接文本内容定位标签 每0.5秒一次检查，通过链接文本内容定位标签是否存在，如果存在就向下继续执行；如果不存在，直到20秒上限就抛出异常 i = 0 while True: options.set_headles() # 无界面模式的另外一种开启方式 反爬与反反爬 常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬

完整笔记资料代码：gitee.com/yinuo112/Ba…

感兴趣的小伙伴可以自取哦~

全套教程部分目录：

部分文件图片：

requests模块

本阶段主要学习requests这个http模块，该模块主要用于发送请求获取响应，该模块有很多的替代模块，比如说urllib模块，但是在工作中用的最多的还是requests模块，requests的代码简洁易懂，相对于臃肿的urllib模块，使用requests编写的爬虫代码将会更少，而且实现某一功能将会简单。因此建议大家掌握该模块的使用

requests模块

知识点：
  • 掌握 headers参数的使用
  • 掌握 发送带参数的请求
  • 掌握 headers中携带cookie
  • 掌握 cookies参数的使用
  • 掌握 cookieJar的转换方法
  • 掌握 超时参数timeout的使用
  • 掌握 ip参数proxies的使用
  • 掌握 使用verify参数忽略CA证书
  • 掌握 requests模块发送post请求
  • 掌握 利用requests.session进行状态保持

前面我们了解了爬虫的基础知识，接下来我们来学习如何在代码中实现我们的爬虫

1. requests模块介绍

requests文档[

1.1 requests模块的作用：

  • 发送http请求，获取响应数据

1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装

  • pip/pip3 install requests

1.3 requests模块发送get请求

  1. 需求：通过requests向百度首页发送请求，获取该页面的源码

  2. 运行下面的代码，观察打印输出的结果

  
  
# 1.2.1-简单的代码实现
  
  
import requests 

  
  
# 目标url
  
  
url = ' 

  
  
# 向目标url发送get请求
  
  
response = requests.get(url)

  
  
# 打印响应内容
  
  
print(response.text)
知识点：掌握 requests模块发送get请求

2. response响应对象

观察上边代码运行结果发现，有好多乱码；这是因为编解码使用的字符集不同早造成的；我们尝试使用下边的办法来解决中文乱码问题

  
  
# 1.2.2-response.content
  
  
import requests 

  
  
# 目标url
  
  
url = ' 

  
  
# 向目标url发送get请求
  
  
response = requests.get(url)

  
  
# 打印响应内容
  
  
  
  
# print(response.text)
  
  
print(response.content.decode()) # 注意这里！

  1. response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果

  2. 网络传输的字符串都是bytes类型的，所以response.text = response.content.decode('推测出的编码字符集')

  3. 我们可以在网页源码中搜索charset，尝试参考该编码字符集，注意存在不准确的情况

2.1 response.text 和response.content的区别：

  • response.text

    • 类型：str
    • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

  • response.content

    • 类型：bytes
    • 解码类型： 没有指定
知识点：掌握 response.text和response.content的区别

2.2 通过对response.content进行decode，来解决中文乱码

  • response.content.decode() 默认utf-8

  • response.content.decode("GBK")

  • 常见的编码字符集

    • utf-8
    • gbk
    • gb2312
    • ascii （读音：阿斯克码）
    • iso-8859-1
知识点：掌握 利用decode函数对requests.content解决中文乱码

2.3 response响应对象的其它常用属性或方法

response = requests.get(url)中response是发送请求获取的响应对象；response响应对象中除了text、content获取响应内容以外还有其它常用的属性或方法：

  • response.url响应的url；有时候响应的url和请求的url并不一致
  • response.status_code 响应状态码
  • response.request.headers 响应对应的请求头
  • response.headers 响应头
  • response.request._cookies 响应对应请求的cookie；返回cookieJar类型
  • response.cookies 响应的cookie（经过了set-cookie动作；返回cookieJar类型
  • response.json()自动将json字符串类型的响应内容转换为python对象（dict or list）
  
  
# 1.2.3-response其它常用属性
  
  
import requests

  
  
# 目标url
  
  
url = '

  
  
# 向目标url发送get请求
  
  
response = requests.get(url)

  
  
# 打印响应内容
  
  
  
  
# print(response.text)
  
  
  
  
# print(response.content.decode())             # 注意这里！
  
  
print(response.url)                            # 打印响应的url
print(response.status_code)                    # 打印响应的状态码
print(response.request.headers)                # 打印响应对象的请求头
print(response.headers)                        # 打印响应头
print(response.request._cookies)            # 打印请求携带的cookies
print(response.cookies)                        # 打印响应中携带的cookies
知识点：掌握 response响应对象的其它常用属性

3. requests模块发送请求

3.1 发送带header的请求

我们先写一个获取百度首页的代码

import requests

url = '

response = requests.get(url)

print(response.content.decode())

  
  
# 打印响应对应请求的请求头信息
  
  
print(response.request.headers)
3.1.1 思考

  1. 对比浏览器上百度首页的网页源码和代码中的百度首页的源码，有什么不同？

    • 查看网页源码的方法：

      • 右键-查看网页源代码 或
      • 右键-检查

  2. 对比对应url的响应内容和代码中的百度首页的源码，有什么不同？

    • 查看对应url的响应内容的方法：

      1. 右键-检查
      2. 点击 Net work
      3. 勾选 Preserve log
      4. 刷新页面
      5. 查看Name一栏下和浏览器地址栏相同的url的Response

  3. 代码中的百度首页的源码非常少，为什么？

    • 需要我们带上请求头信息

    回顾爬虫的概念，模拟浏览器，欺骗服务器，获取和浏览器一致的内容

avatar
文章
阅读
粉丝