爬虫

引言 一、AI 爬虫的两种进化路径 目前市面上比较火的 AI 爬虫项目，大致可以分为两个方向： 方向一：完整的 AI 爬虫框架 以 Crawl4AI、Firecrawl 为代表。 这类项目试图从头构建

引言 再聊一下 AST 反混淆, 聊一下常见一些的 OB 混淆的处理方法。 实战 要处理的是 reese84 的加密, 部分加密代码如下。 老规矩, 源码放这里, 是一个航司网站, 感兴趣可以自己去看

引言 之前答应大家的 Akamai 加密逆向, 东西确实是比较多, 尝试写在一起确实不容易说清楚, 所以只能是分几期来做了, 这次先说一些相关特征, 和如何通过补环境来过掉加密。 后边尽可能出几期拆的

引言 爬虫工作的又一大阻碍, tls 指纹校验。最近正好也遇到了, 大概去了解了一下, 顺便跟大家聊聊这个东西。 原理 定义方面的东西就不去细说了, 我做个大概的解释吧。 简单来说, 不同的浏览器都有

引言 爬虫做多了, 见到的混淆想必也不会太少。简单的混淆代码, 我们可以硬顶着调试下去。但是对于过于复杂的混淆代码, 不妨试试用 AST 工具, 反混淆处理后会方便很多。 关于技术本身, 不进行过多的

引言 验证码也是我们在做爬虫工作中一个很麻烦的部分, 今天来聊一聊在验证码处理中, 如何模拟滑动轨迹。 思路 我们从两个方向入手, 首先是轨迹, 我们要设计模拟一条接近人为操作的轨迹出来, 比如肯定不

目标网站 继续来说易盾, 这次来聊验证接口。配合上期的获取图片接口, 可以实现无感过易盾验证码。 接口分析 还是先来看接口, 可以通过多次尝试滑动来观察不同的情况。 本文重点在于逆向部分, 能拿到响应

目标网站 来聊聊某易易盾的验证码, 主要分为获取验证码图片和滑动接口两部分。因为篇幅较长, 分两次来聊。 这次先聊获取图片的接口, 通过页面加载或者刷新图片就可以看到, 链接如下。https://c.

目标网站 某红书。 目标仍是主页作品, 可以通过下拉触发请求。https://edith.xiaohongshu.com/api/sns/web/v1/user_posted 网站分析 参数分析 请求

目标网站 今天来处理某音。 目标是获取某用户的所有作品, 通过刷新页面搜索内容可以确定目标接口。https://www.douyin.com/aweme/v1/web/aweme/post/ 网站分析

目标网站 近期为了深刻学习法律知识, 需要来下载一些法律条文相关的内容。 本文通过 某法宝网站来下载数据 https://www.pkulaw.com/。

目标网站 为持续加深对律法的学习, 我们需要再来收集一些数据。 本文来解决 https://credit.acla.org.cn/ 这个网站的字体加密问题。 网站分析 网站反爬 这个网站的各种反爬措施