前段时间开发了一个功能，通过HttpClient访问某个页面，获取页面的全部html内容；之后通过抓取过来的整个页面展示在自己的网页中；但是过了一段时间之后，网页升级了，网页中的图片都变成了动态加载，直接通过HttpClient无法获取完整的页面内容，图片都是懒加载状态无法展示…

一直觉得自己之前写的使用定时抓取构建IP代理池实在过于简陋，并且有一部分的代码写的并不合理，刚好最近又在学习多线程，就将之前的代码进行了重构，也方便对抓取代理ip有需求的人。之前自己写的那篇文章就不删

如果你想利用自己的技术做出一点有意思的产品来，那么爬虫、算法和 AI 等技术可能是一个不错的突破口。今天，我们就来介绍下使用 Java 爬取页面信息的几种思路。 说起爬虫，自从 Python 兴起之后，人们可能更多地使用 Python 进行爬虫. 毕竟，Python 有许多封装…

这是 Java 网络爬虫系列博文的第二篇，在上一篇 Java 网络爬虫，就是这么的简单 中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？ 在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢…