经常使用 Selenium 或者 Puppeteer 的同学都知道，他们启动的 Chrome 浏览器分为有头模式和无头模式。在自己电脑上操作时，如果是有头模式，会弹出一个 Chrome 浏览器窗口，然后你能看到这个浏览器里面在自动操作。而无头模式则不会弹出任何窗口，只有进程。 …

大家好，我是boy哥。 相信玩过爬虫的朋友都知道selenium，一个自动化测试的神器工具。写个Python自动化脚本解放双手基本上是常规的操作了，爬虫爬不了的，就用自动化测试凑一凑。 虽然selenium有完备的文档，但也需要一定的学习成本，对于一个纯小白来讲还是有些门槛的。…

在爬虫开发过程中，经常会遇到验证码的情况，这是反爬过程中相当有门槛的措施，破解成本非常高，需要深度学习、JS 逆向等相关的经验，而且成功率还不一定很高。即使破解成功，如果目标网站换了验证码生成的方法或算法，那么费了九牛二虎之力才成功破解的工作将前功尽弃。因此，破解验证码这种反人…

这是 Java 网络爬虫系列博文的第二篇，在上一篇 Java 网络爬虫，就是这么的简单 中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？ 在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢…

1. Facebook模拟登录 知道对应的登录url以及请求参数之后，现在我们通过Jsoup来构造登录请求以获取用户cookie信息。 2. 获取群组中的管理员以及成员列表 第一次我们通过分析首次的html可以知道第一批成员以及第一个加载更多的url，那么接下来第二次以及之后每…

GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、…