Python爬虫-Requests库用法大全

Requests是一个常用的Python HTTP库，用于发送HTTP请求和处理响应。下面是对Requests库的用法进行全面介绍：

1. 发送GET请求：
   使用 requests.get()方法发送GET请求，并获取响应对象。

   import requests
   
   response = requests.get(url)
   

2. 发送带参数的GET请求：
   可以使用 params参数来传递查询参数。

   payload = {'key1': 'value1', 'key2': 'value2'}
   response = requests.get(url, params=payload)
   

3. 发送POST请求：
   使用 requests.post()方法发送POST请求，并传递数据。

   payload = {'key1': 'value1', 'key2': 'value2'}
   response = requests.post(url, data=payload)
   

4. 发送JSON数据：
   可以使用 json参数来发送JSON数据。

   payload = {'key1': 'value1', 'key2': 'value2'}
   response = requests.post(url, json=payload)
   

5. 发送自定义请求头：
   可以通过 headers参数设置请求头。

   headers = {'User-Agent': 'Mozilla/5.0'}
   response = requests.get(url, headers=headers)
   

6. 处理响应：
   可以通过响应对象获取响应内容、状态码等信息。

   response = requests.get(url)
   content = response.text
   status_code = response.status_code
   

7. 处理异常：
   可以捕获 requests.exceptions.RequestException异常处理请求过程中的异常情况。

   try:
       response = requests.get(url)
   except requests.exceptions.RequestException as e:
       print(e)
   

8. 设置超时时间：
   可以通过 timeout参数设置请求的超时时间。

   response = requests.get(url, timeout=5)
   

9. 处理Cookies：
   可以通过 cookies属性获取响应中的Cookies信息，或通过 cookies参数传递Cookies。

   cookies = {'key1': 'value1', 'key2': 'value2'}
   response = requests.get(url, cookies=cookies)
   

10. 会话管理：
    可以使用会话对象来保持会话状态，跨请求共享Cookies等信息。

    session = requests.Session()
    response = session.get(url)
    

以上是Requests库的一些常见用法，它提供了丰富的功能和灵活的配置选项，方便进行HTTP请求和处理响应。

希望以上内容能对你的爬虫开发有所帮助！如果有任何问题，请随时提问。

香港五网CN2网络云服务器链接：www.tsyvps.com

蓝易云香港五网CN2 GIA/GT精品网络服务器。拒绝绕路，拒绝不稳定。