在上一篇文章中，我们提到了aiohttp官方文档中的默认写法速度与requests单线程请求没有什么区别，需要通过使用asyncio.wait来加速aiohttp的请求。今天我们来探讨一下这背后的原因。 我们使用一个可以通过URL设定返回延迟的网站来进行测试，网址为：http:…

在使用 yield 压平嵌套字典有多简单？这篇文章中，我们讲到，要把一个多层嵌套的字典压平，可以使用yield关键字来实现。 今天，我们倒过来，把一个已经被压平的字典还原成嵌套字典。 要实现这个需求，我们分成两个主要的步骤。 需要注意的是，unpack函数的第一个参数是一个列表…

内容选自即将出版的《Python3 反爬虫原理与绕过实战》，本次公开书稿范围为第 6 章——文本混淆反爬虫。本篇为第 6 章中的第 3 小节 SVG 反爬虫，第 4 小节《用前考虑清楚，伤敌一千自损八百的字体反爬虫》已发，其余小节将逐步放送。 SVG 是用于描述二维矢量图形的一…

selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，是爬复杂动态网页的必备工具。支持的浏览器包括IE，Mozilla Firefox，Safari，Google Chrome，Opera等。 这里分两个场景，给大…

请求参数和返回内容做额外 RSA 加密处理，即使截获，也无法查看到明文。 关于 HTTPS 证书双向认证和 Web 端反爬虫技术方案均在大前端时代的安全性一文中有具体讲解。接下来引出本文主角：防重放 在之前的文章也讲过，HTTPS 依旧可以被抓包，造成安全问题。抓包工具下数据依…

在 Python 众多的 HTTP 客户端中，最有名的莫过于requests、aiohttp和httpx。在不借助其他第三方库的情况下，requests只能发送同步请求；aiohttp只能发送异步请求；httpx既能发送同步请求，又能发送异步请求。 所谓的同步请求，是指在单进程…

想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mob…

HTTP 协议是一种无状态协议，即每次服务端接收到客户端的请求时，都是一个全新的请求，服务器并不知道客户端的历史请求记录；Session 和 Cookie 的主要目的就是为了弥补 HTTP 的无状态特性。 客户端请求服务端，服务端会为这次请求开辟一块内存空间，这个对象便是 Se…

听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过 Python 自带的async/await实现了异步爬虫。 使用 aiohttp，我们可以通过 requests 的api写出并发量匹敌 Scrapy 的爬虫。 我们现在稍稍修改一下，来看看这样写爬虫，运行效…