在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。 对于一些很麻烦的异步加载页面，手动寻找它的后台API代价可能太大。这种情况下可以使用Selenium和ChromeDriver或者Selenium…

一个是列表页，这里的列表页代表的就是那种需要在当前页面获取到更多别的详情页的网页链接，像一般的查询列表，可以通过列表获取到更多的详情页链接。 一个是详情页，这种就比较好理解，这种页面不需要在这个页面再去获得别的网页链接了，直接在当前页面就可以提取数据。 基本所有爬取的网站都可以…

作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到…

一. Disruptor Disruptor 是一个高性能的异步处理框架。 二. 实践 NetDiscovery 是基于 Vert.x、RxJava 2 等框架实现的爬虫框架。 NetDiscovery 默认的消息队列采用 JDK 的 ConcurrentLinkedQueue…

想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mob…

网上有许多代理ip，免费的、付费的。大多数公司爬虫会买这些专业版，对于普通人来说，免费的基本满足我们需要了，不过免费有一个弊端，时效性不强，不稳定，所以我们就需要对采集的ip进行一个简单的验证。 本文主要针对西刺代理，这个网站很早之前用过，不过那个时候它还提供免费的api，现在…

你或你的团队编写的源码。 你的源码会依赖的任何第三方的 library 或 "vendor" 代码。 总结： 需要注意的是不同的 devtool 的设置，会导致不同的性能差异。 "eval" 具有最好的性能，但并不能帮助你转译代码。

关于手机抓包（这里指 Android 手机），推荐使用 Fiddler 工具来抓包，Fiddler 自行去下载。 因为微信的网络请求为 HTTPS ，安全性高，所以 Fiddler 需要在手机端安装它的信任证书，才能抓到微信的请求（比喻：Fiddler 充当代理人、中间商，在建…