爬虫
3篇文章 · 0订阅
  • 【Python3】利用selenium抓取知乎用户的文章
    前段时间，阅读知乎上一些用户写的文章的时候觉得阅读起来比较麻烦，不符合我的阅读感受。比如下边这个，我想阅读牛客网的文章（如图1所示），我会通过标题先进行筛选，但是这样滚动下滑太麻烦了，所以想着不如将标题信息爬下来，另外，点赞数和评论数也顺便抓取下来，这样还能看该用户被点赞数最多…
    Python 爬虫
  • 《抖音APP》爬虫思路分享总结
    1、APP抓包教程，需要用到fiddler fiddler配置如果不明白的可以百度下，按照教程一步步安装配置 2、寻找返回用户aweme_count和uid数据的接口 进入我关注的抖音用户主页，找到用户的抖音号并记录下来,该抖音号为unique_id（unique_id区别于u…
    API 后端 爬虫
  • 爬虫速度太慢？来试试用异步协程提速吧！
    1. 前言 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。 为了解决这类问题，本文就来探讨一下 Pytho…
    Python 爬虫 服务器