基本原理： 流程简述：通过请求贴文地址返回html匹配token值，然后携带token及贴文地址信息请求twitter官方接口https://api.x.com/graphql/Xl5pC_lBk_g

可能很多人都觉得爬虫是Python的专属技能，但其实使用Go语言可能会实现更加好的效果 爬虫是什么 在开始实现爬虫之前我们必须明白一件事，那就是爬虫是什么。

前言 在上一篇 xxl-job 执行器原理分析 一文中，我们提到了 xxl-job 框架中包含了两个核心模块：调度中心 和 执行器， 其中调度中心主要负责 任务的调度 ， 而执行器负责 任务的执行，

使用 Java 来调度定时任务时，我们经常会使用 Timer 类搞定。Timer 简单易用，其源码阅读起来也非常清晰，本节我们来仔细分析一下 Timer 类，来看看 JDK 源码的编写者是如何实现一个稳定可靠的简单调度器。 Timer 调度任务有一次性调度和循环调度，循环调度有…

Cendertron 是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具，其为 Chaos-Scanner 后续的基础扫描与 POC 扫描提供的扫描的 URL 目标。我们前文介绍了 Cendertron 的基础使用，这里我们针对实际扫描场景下的爬虫参…

在 Cendertron 安全动态爬虫系列中我们依次介绍了安全爬虫的设计、爬虫的集群搭建，本篇则是讨论有关于滑动验证码的绕过策略。 本文采用的策略与代码来自 How to bypass “slider CAPTCHA” with JS and Puppeteer 一文。 验证是…

Cendertron https://url.wx-coder.cn/HinPM 是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler 的通用爬虫、调度与缓存模型，新增了 Monkey Test 以及 Request I…

作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到…

想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mob…