青南

》一文中，我们介绍了修改源代码使Pyppeteer 打开的 Chrome 隐藏window.navigator.webdriver的方法。 然而时过境迁，随着 Chrome 版本升级，这一方法也宣告失效。 》我们介绍了在 Selenium 中如何隐藏最新版 Chrome 的wi…

在《一日一技：如何正确移除Selenium中window.navigator.webdriver的值》一文中，我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除window.navigator.webdriver的方法。 后来时过境迁，Chrome升级了版…

在写爬虫的过程中，我们经常使用 XPath 来从 HTML 中提取数据。例如给出下面这个 HTML： 如果我们使用 lxml 来提取里面的你好、世界、你好、产品经理。 首先使用 XPath 获取class="one"这个 div 标签。由于这里有两个这样的标签，所以第28行的 …

在昨天的文章中，我们讲到了 RSA 算法。RSA 算法的根本原理中，有两个核心质数 p和 q，他们相乘得到一个数 n。由于反向从 n 分解出 p 和 q 非常困难，所以只要 p 和 q 足够大，RSA 算法在现在的计算机水平下就无法被破解。 现在，你先暂停一下，打开百度或者 G…

由于众所周知的原因，国内的各大邮箱、聊天 App 都会监控你接收和发送的信息。如果你需要传递一些绝密内容应，显然你需要对你的内容进行加密。 但是加密的密码你怎么告诉别人呢？打电话说吗？如果是一对一的沟通，这种方式确实没有问题。 但如果现在是单向联系，多个人给你发信息。你想让所有…

我们在使用 requests 这类网络请求第三方库时，可以看到它有一个参数叫做timeout，就是指在网络请求发出开始计算，如果超过 timeout 还没有收到返回，就抛出超时异常。(当然存在特殊情况timeout 会失效，请看Timeouts and cancellation…

未闻 Code 已经发布过很多篇关于异步爬虫与异步编程的文章，最近有读者希望我能深入介绍一下 asyncio 是如何通过单线程单进程实现并发效果的。以及异步代码是不是能在所有方面都代替同步代码。 假设你需要用电饭煲煮饭，用洗衣机洗衣服，给朋友打电话让他过来吃饭。其中，电饭煲需要…

在 Python 众多的 HTTP 客户端中，最有名的莫过于requests、aiohttp和httpx。在不借助其他第三方库的情况下，requests只能发送同步请求；aiohttp只能发送异步请求；httpx既能发送同步请求，又能发送异步请求。 所谓的同步请求，是指在单进程…

有一个非常简单的需求：编写一个 HTTP接口，使用 POST 方式发送一个 JSON 字符串，接口里面读取发送上来的参数，对其中某个参数进行处理，并返回。 代码看起来已经很简洁了。我们用requests发个请求看看效果，如下图所示： 看起来没什么问题。 不出所料，报错了。 又报…