通过上篇文章《自动化 Web 性能优化分析方案》的分享想必大家对“百策系统”有了初步的了解。本文将向大家介绍自动化性能分析使用的核心库——Puppeteer，并结合页面登录场景，介绍 Puppeteer 在百策系统中的应用。 Puppeteer 是一个 Node 库，它提供了一…

背景几番浏览欣赏后收工大吉正文开始所用到的模块http:创建服务、处理流相关fs：操作文件及文件夹(读、写)cheerio：简单粗暴的理解为node界的juquey先爬来整张网页过滤成果展示最后晒出劳

因为笔者在线上实习时的需求，需要做一个裁判文书网的爬虫，本以为，一个政府网站爬虫嘛会有多难？但当笔者开始爬的时候，笔者发现自己错了，困难重重！好在最后解决了，笔者将代码重构放在github上之后在这里写下了写这个爬虫的整个思路。 一个大大的搜索框，我们的思路大致也从这里开始。 …

Puppeteer 是 Google Chrome 团队官方的无界面（Headless）Chrome 工具。正因为这个官方声明，许多业内自动化测试库都已经停止维护，包括 PhantomJS。Selenium IDE for Firefox 项目也因为缺乏维护者而终止。 本文将使…

本人从这2个角度（网页所见非所得、查接口请求没用）出发，制定了下面的反爬方案。 根据业务需要根据 SQL 语句生成对应的数据。如果是数字部分，则需要按照上面约定的方法加以转换。 然后为了防止爬虫人员查看 JS 研究问题，所以对 JS 的文件进行了加密处理。如果你的技术栈是 Vu…

最近打算买一辆电瓶车来上下班，但又不知道哪个好，网上是各说纷纭啊，于是就想着，干脆用node.js自己写一个小爬虫，来爬一下中关村在线里面电瓶车的信息吧。 （以后完整代码请前往 www.yubowen2003.com 暂时还在建设中，欢迎大家提issue😂 。）

本文实现一个非常有趣的项目，这个项目是关于胸罩销售数据分析的。是网络爬虫和数据分析的综合应用项目。本项目会从天猫抓取胸罩销售数据，并将这些数据保存到SQLite数据库中，然后对数据进行清洗，最后通过SQL语句、Pandas和Matplotlib对数据进行数据可视化分析。我们从分…

知道这启动浏览器打开页面关闭浏览器主流程后，再来看几个API。 2.4 知道了以上这些API后，就可以开始写主程序了。 简单说下：实现功能和主流程。从上面React.js小书截图来看。 1、打开浏览器，进入目录页，生成0. React 小书 目录.pdf 2、跳转到1. Rea…

如果你像我一样，有时非常急切地想要抓去某个网页，得到可读格式的数据，或仅是需要这些数据用做其他目的。 Puppeteer 是一个 Node 代码库，基于 DevTools 协议，提供高级 API 自动化控制谷歌Chrome 或 Chromium浏览器。Puppeteer 默认以…