python之requests库

laity0828
741 阅读3分钟

Response对象

response对象包含服务器返回的所有信息，也包含请求的request信息。

    r = requests.get(url) 
    ｜         ｜
Response    Request

reponse对象包含爬虫返回的内容

Response对象的属性

属性说明
r.status_codeHTTP请求的返回状态，200表示连接成功，404表示失败
r.textHTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding从HTTP header中猜测的响应内容编码方式
r.apparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）
r.contentHTTP响应内容的二进制形式
  • r.encoding: 如果header中不存在charset，则认为编码位ISO-8859-1。r.text根据r.encoding显示网页内容。
  • r.apparent_encoding：根据网页内容分析出的编码方式，可以看作是r.encoding的备选。

Requests库的异常

异常说明
requests.ConnectionError网络连接错误，如DNS查询失败、拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数，产生重定向异常
requests.ConnectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时，产生超时异常
r.raise_for_status如果不是200，产生异常requests.HTTPError
  • r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try-except进行异常处理。
try:
	r = requests.get("http://www.baidu.com")
	r.raise_for_status()
	print(r.text)
except:
	print('error')

Requests库的主要方法

Requests库方法HTTP协议方法说明
requests.request()/请求构造一个请求，支撑以下各方法的基础方法
requests.get()GET请求获取URL位置的资源
requests.head()HEAD请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
requests.post()POST向URL位置的资源后附加新的数据
requests.put()PUT请求向URL位置存储一个资源，覆盖原URL位置的资源
requests.patch()PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容
requests.delete()DELETE请求删除URL位置存储的资源
PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段。需求：用户修改了UserName，其他不变

  • 采用PATCH，仅向URL提交UserName的局部更新请求
  • 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除 PATCH的最主要好处：节省网络带宽
主要方法参数说明

requests.request(method，url，**kwargs)

  • method：请求方式，对应get/post/put等7种
  • url：拟获取页面的url链接
  • **kwargs：控制访问的参数，共13个，均为可选项

访问参数

  • params：指能够增加到url中的参数，字典或字节序列
import requests

kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('GET', 'http://python123.io/ws', params = kv)
print(r.url)

output：https://python123.io/ws?key1=value1&key2=value2
  • data：字典、字节序列或文件对象。重点是作为向服务器提供或提交资源时使用。
  • json：json格式的数据，作为Request的内容
  • headers：字典，可以用这个字段来定制访问某一个url的http的协议头。
  • cookies：字典或CookieJar，Request中的cookie
  • auth：元组，支持HTTP认证功能
  • files：字典类型，向服务器传输文件时使用的字段。
fs = {'file': open('data.txt', 'rb')}
r = requests.request('POST', 'http://python123.io/ws', files = fs)
  • timeout：设定超时时间，秒为单位，我们的请求内容没有反馈回来，那么它将产生一个timeout的异常。
  • proxies：字典类型，设定访问代理服务器，可以增加登录认证
  • allow_redirects：True/False，默认为True，重定向开关
  • stream：True/False，默认为True，获取内容立即下载开关
  • verify：True/False，默认为True，认证SSL证书开关
  • cert：本地SSL证书路径
avatar
文章
阅读
粉丝