“Offer 驾到，掘友接招！我正在参与2022春招打卡活动，点击查看活动详情。” 今天要抓取的是虎牙频道的直播页，本篇博客的学习重点，依旧是多线程爬虫。 目标数据分析 本次要采集的数据列表呈现如下，

「这是我参与2022首次更文挑战的第17天，活动详情查看：2022首次更文挑战」。 大家好，我是丁小杰！ 时间过得真快，一眨眼就到了元宵节，大家记得吃元宵哦~ 为什么要使用代理？ 不知道大家在写爬虫时

前言 今天还是老老实实搞点东西吧，然后本周的算法题还没刷呢。 目标网站 分析 ok，明确了这个目标网站，那么接下来是如何分析爬取，我们的目标是爬取N页面 分页 首先点击下一页我们发现这个现象 http

pyppeteer 是对无头浏览器 puppeteer的 Python 封装。无头浏览器广泛用于自动化测试，同时也是一种很好地爬虫思路。 使用 puppeteer（等其他无头浏览器）的最大优势当然是对 js 加密实行降维打击，完全无视 js 加密手段，对于一些需要登录的应用，也…

做过爬虫的童鞋可能大多数是用python去模拟请求爬数据的，有些封IP的网站数据，可能是去页面上爬的demo，这种效率太低，今天让我们借用devtools，去高效的抓取数据

随着 Python 语言的流行，越来越多的人加入到了 Python 的大家庭中。为什么这么多人学 Python ？我要喊出那句话了：“人生苦短，我用 Python！”，正是因为语法简单、容易学习，所以 Python 深受大家喜爱。（Python！Python！Python！） …