【码上爬】 题二:headers请求头验证

8 阅读1分钟

暗号:aHR0cHM6Ly9tYXNoYW5ncGEuY29tL3Byb2JsZW0tZGV0YWlsLzIv

 

题目:

image.png

这个题并没有什么加密点,只需要正常进行访问就能获取到数据

这里提供一个爬虫工具网站:spidertools.cn/

只需要打开控制台进行抓包,鼠标右键点击接口-> 复制 -> 复制为 cURL(bash)

打开上面的网站,按照下面的步骤,可以快速构建一个爬虫代码:

image.png

然后就能抓取到数据了:

image.png

附上python代码:


import requests

 

sum = 0

 

for i in range(1,6):

    headers = {}

    cookies = {}

    url = "https://mashangpa.com/api/problem-detail/2/data/"

    params = {

        "page": str(i)

    }

    response = requests.get(url, headers=headers, cookies=cookies, params=params).json()

    print(response)

    for j in response['current_array']:

        sum += j

print(sum)