处理带有:的请求头

105 阅读1分钟

image.png

当请求遇到上述问题时,我们编写的爬虫无法直接处理类似的请求头。

 会报如下错误:

ValueError: Invalid header name b':authority'

我们可以用hyper来处理这类问题

from hyper.contrib import HTTP20Adapter
 
sessions=requests.session()
sessions.mount('https://xxxx.com', HTTP20Adapter())
r=sessions.post(url_search,data=playload,headers=headers)