爬虫
2篇文章 · 0订阅
  • Java基于Selenium动态抓取页面
    前段时间开发了一个功能，通过HttpClient访问某个页面，获取页面的全部html内容；之后通过抓取过来的整个页面展示在自己的网页中；但是过了一段时间之后，网页升级了，网页中的图片都变成了动态加载，直接通过HttpClient无法获取完整的页面内容，图片都是懒加载状态无法展示…
    Java
  • Java 多线程爬虫及分布式爬虫架构探索
    这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器 中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。 线上…
    Java