爬虫
3篇文章 · 0订阅
  • 当你写爬虫遇到APP的请求有加密参数时该怎么办？【初级篇-秒杀模式】
    小提示：之所以不提Kotlin，是因为在Kotlin下写加密、Hash操作的代码时如果不使用第三方库的话，就只能调用Java的标准库了，而第三方库的类名、方法名可能性太多了，不像标准库那样可以直接秒杀一大片，所以不属于本系列初级篇内容。（已询问多位Android开发同学验证此结…
    爬虫
  • Disruptor 实践：整合到现有的爬虫框架
    一. Disruptor Disruptor 是一个高性能的异步处理框架。 二. 实践 NetDiscovery 是基于 Vert.x、RxJava 2 等框架实现的爬虫框架。 NetDiscovery 默认的消息队列采用 JDK 的 ConcurrentLinkedQueue…
    后端 爬虫
  • 为爬虫框架构建Selenium模块、DSL模块(Kotlin实现)
    NetDiscover是一款基于Vert.x、RxJava2实现的爬虫框架。我最近添加了两个模块：Selenium模块、DSL模块。 一. Selenium模块 添加这个模块的目的是为了让它能够模拟人的行为去操作浏览器，完成爬虫抓取的目的。 Selenium包括了一组工具和AP…
    后端 浏览器 爬虫