手动下载 Chromium，下载完后将压缩包解压，会有个 Chromium.app，将其放在你喜欢的目录下，例如 /Users/huqiyang/Documents/project/z/chromium/Chromium.app。正常安装包后 Chromium.app 会在 .…

puppeteer 是一个Chrome官方出品的headless Chrome node库。它提供了一系列的API, 可以在无UI的情况下调用Chrome的功能, 适用于爬虫、自动化处理等各种场景 创建一个最新的自动化测试环境。使用最新的 JavaScript 和浏览器功能，可…

前一段时间，LZ又接到一个需求，要爬取某快递公司网站的订单数据，起初觉得不就是爬一下数据嘛，虽然nodejs玩的不是特别溜，但爬一些简单数据还是难不倒我这种战五渣的。 当我打开网站，输入数据，准备来一波页面结构分析的时候，突然间跳出来一个滑块验证码。卧槽...... WTF，你…

我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。 本文主要介绍 Google 提供的无头浏览器(headless Chrome), 他基于 Chrome DevTools prot…

本文将会教你如何用 JavaScript 自动化 web 爬虫，技术上用到了 Google 团队开发的 Puppeteer。 Puppeteer 运行在 Node 环境，可以用来操作 headless Chrome。何谓 Headless Chrome？通俗来讲就是在不打开 C…

知道这启动浏览器打开页面关闭浏览器主流程后，再来看几个API。 2.4 知道了以上这些API后，就可以开始写主程序了。 简单说下：实现功能和主流程。从上面React.js小书截图来看。 1、打开浏览器，进入目录页，生成0. React 小书 目录.pdf 2、跳转到1. Rea…

2021 年 12 月到 2022 年 6 月期间，我一直在开发维护一个大型的 JavaScript 自动化脚本，在此项目中用到了 puppeteer 来自动操作网页，用 opencv.js 识别特定

之前看过一篇脑洞大开的文章，介绍了各个大厂的前端反爬虫技巧，但也正如此文所说，没有100%的反爬虫方法，本文介绍一种简单的方法，来绕过所有这些前端反爬虫手段。 可以发现，百度指数实际上在前端做了一定的反爬虫策略。当鼠标移动到图表上时，会触发两个请求，一个请求返回一段html，一…

1. 打开前端网，点击登录。 2. 填写账号，密码。 3. 点解验证按钮，通过滑动验证，最后成功登陆。 github上可以checkout。 1. 将这个两个文件保存到文件夹下面，终端切换到当前路径下 2. npm i 3. 补上前端网的账号，密码 4. node run 1.…