2021 年 12 月到 2022 年 6 月期间，我一直在开发维护一个大型的 JavaScript 自动化脚本，在此项目中用到了 puppeteer 来自动操作网页，用 opencv.js 识别特定

这是一篇关于使用Node.js和Puppeteer爬取腾讯视频的示例实现的文章。内容包括通过这两种技术的结合实现爬取腾讯视频的方法，并给出了代码的实现示例。

这篇文章，主要用于收集整理常用的Puppeteer的一些常用API操作，自动化操作，爬虫测试，基础使用等等。当然至于是什么是Puppeteer呢，我们来看下官方介绍：Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可…

手动下载 Chromium，下载完后将压缩包解压，会有个 Chromium.app，将其放在你喜欢的目录下，例如 /Users/huqiyang/Documents/project/z/chromium/Chromium.app。正常安装包后 Chromium.app 会在 .…

node 自动爬虫 使用技术 node 中的nestjs 框架 爬虫puppeteerjs node fs 模块 pm2 想使用数据库的话typeorm

今天，我们来用node实现一个多页面应用的爬虫操作，在进行爬虫操作之前，我们需要了解一些基本知识 什么是node? Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环

之前看过一篇脑洞大开的文章，介绍了各个大厂的前端反爬虫技巧，但也正如此文所说，没有100%的反爬虫方法，本文介绍一种简单的方法，来绕过所有这些前端反爬虫手段。 可以发现，百度指数实际上在前端做了一定的反爬虫策略。当鼠标移动到图表上时，会触发两个请求，一个请求返回一段html，一…

用了那么多年的express.js，终于有时间来深入学习express，然后顺便再和koa2的实现方式对比一下。 老实说，还没看express.js源码之前，一直觉得express.js还是很不错的，无论从api设计，还是使用上都是可以的。但是这次阅读完express代码之后，…