requests是一个简洁易用的http-client库，早期在github的python项目受欢迎程度可以排名TOP10。介绍这个项目，我个人觉得还是官方的地道： Requests is an elegant and simple HTTP library for Pytho…

CDN的全称是Content Delivery Network，即内容分发网络。 CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能

未闻 Code 已经发布过很多篇关于异步爬虫与异步编程的文章，最近有读者希望我能深入介绍一下 asyncio 是如何通过单线程单进程实现并发效果的。以及异步代码是不是能在所有方面都代替同步代码。 假设你需要用电饭煲煮饭，用洗衣机洗衣服，给朋友打电话让他过来吃饭。其中，电饭煲需要…

在《一日一技：如何正确移除Selenium中window.navigator.webdriver的值》一文中，我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除window.navigator.webdriver的方法。 后来时过境迁，Chrome升级了版…

😀 这是爬虫专栏第 「7」 篇原创 在数据爬取过程中，我们可能需要进行一些任务间通信机制的实现。比如说： 一个进程负责构造爬取请求，另一个进程负责执行爬取请求。 某个爬取任务进程完成了，通知另外一个进