guanhui077

我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。 本文主要介绍 Google 提供的无头浏览器(headless Chrome), 他基于 Chrome DevTools prot…

爬虫又称网络机器人。每天或许你都会使用搜索引擎，爬虫便是搜索引擎重要的组成部分，爬取内容做索引。现如今大数据，数据分析很火，那数据哪里来呢，可以通过网络爬虫爬取啊。那我萌就来探讨一下网络爬虫吧。 如图所示，这是爬虫的流程图，可以看到通过一个种子URL开启爬虫的爬取之旅，通过下载…

Puppeteer 是 Chrome 开发团队在 2017 年发布的一个 Node.js 包，用来模拟 Chrome 浏览器的运行。我们团队从 Puppeteer 刚发布出来就开始成为忠实用户了（主要是因为 PhantomJs 坑太多了），本文主要在介绍 Puppeteer 的…

网页截图并保存为图片或 pdf 。 模拟表单提交，键盘输入，按钮点击，滑块移动等dom操作。 实现UI的自动化测试。 作为抓包工区对网页性能进行调试和分析。 编写定制化爬虫，解决传统HTTP抓取SPA页面难以处理异步请求的问题。 在使用puppeteer实现以上功能，我们通过几…

相信大家在使用puppeteer的时候会遇到各种各样的问题，比如原本在mac上跑的好好的却发现在centos/docker上遭遇各种各样的问题， 这里把我所遇到的坑跟大家说一下。 当你自己安装chromeium的时候，在启动（puppeteer.launch()）的时候需要指定…

puppeteer 翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。puppeteer是一个nodejs的库，支持调用Chrome的API来操纵Web，相比较Selenium或是PhantomJs,它最大的特调就是它的操作Dom可以完全在内存中进行模拟既在V8引擎中…

puppeteer 是一个Chrome官方出品的headless Chrome node库。它提供了一系列的API, 可以在无UI的情况下调用Chrome的功能, 适用于爬虫、自动化处理等各种场景 创建一个最新的自动化测试环境。使用最新的 JavaScript 和浏览器功能，可…

对了，我开通了个人的 个人主页，里面有自己的技术文章，还会有个人的随想、思考和日志。以后所有的文章都会第一时间更新到这里，然后同步到其他平台。有喜欢的朋友可以没事去逛逛，再次感谢大家的支持！ 注：因为在写这篇文章的时候用的电脑真心比较渣。安装WebStorm或者VsCode跑项…

在 node 环境中，有两个内置的全局变量无需引入即可直接使用，并且无处不见，它们构成了 nodejs 的模块体系: module 与 require。以下是一个简单的示例 虽然它们在平常使用中仅仅是引入与导出模块，但稍稍深入，便可见乾坤之大。在业界可用它们做一些比较 tric…