首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
puppeteer
订阅
qupan1993
更多收藏集
微信扫码分享
微信
新浪微博
QQ
11篇文章 · 0订阅
前端使用puppeteer 爬虫生成《React.js 小书》PDF并合并
知道这启动浏览器打开页面关闭浏览器主流程后,再来看几个API。 2.4 知道了以上这些API后,就可以开始写主程序了。 简单说下:实现功能和主流程。从上面React.js小书截图来看。 1、打开浏览器,进入目录页,生成0. React 小书 目录.pdf 2、跳转到1. Rea…
使用node+puppeteer破解验证码
前一段时间,LZ又接到一个需求,要爬取某快递公司网站的订单数据,起初觉得不就是爬一下数据嘛,虽然nodejs玩的不是特别溜,但爬一些简单数据还是难不倒我这种战五渣的。 当我打开网站,输入数据,准备来一波页面结构分析的时候,突然间跳出来一个滑块验证码。卧槽...... WTF,你…
puppeteer初体验
puppeteer 翻译是操纵木偶的人,利用这个工具,我们能做一个操纵页面的人。puppeteer是一个nodejs的库,支持调用Chrome的API来操纵Web,相比较Selenium或是PhantomJs,它最大的特调就是它的操作Dom可以完全在内存中进行模拟既在V8引擎中…
无头浏览器 Puppeteer 初探
我们日常使用浏览器的步骤为:启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器,能模拟真实的浏览器使用场景。 本文主要介绍 Google 提供的无头浏览器(headless Chrome), 他基于 Chrome DevTools prot…
Puppeteer-常规操作一
这里的 evaluate 好处就是 callback 里面可以通过原生js进行操作,callback 后面的 argument 以逗号形式分割,顺序传入 callback 中。 这里比较通俗易懂,page 找出的对象后面其实是继续给了 page 的所有方法,但由于 page 大…
Puppeteer E2E测试入门
本文内容涉及ES6 async、jest的相关知识,对于以上内容不太了解的读者可以先了解相关内容。 它由Chrome官方团队提供,通过Devtools协议在Node层提供了一系列API来控制chrome或者chromium,也就是说我们能够编写Node环境的代码即可对浏览器的行…
利用puppeteer破解极验的滑动验证
1. 打开前端网,点击登录。 2. 填写账号,密码。 3. 点解验证按钮,通过滑动验证,最后成功登陆。 github上可以checkout。 1. 将这个两个文件保存到文件夹下面,终端切换到当前路径下 2. npm i 3. 补上前端网的账号,密码 4. node run 1.…
抓取网页生成 PDF
看到自己喜欢的在线文档,是不是总想保存下来慢慢学习。可是苦于没有现成的工具,这里我来介绍两个 JS 类库,只需要简单封装一下,从此想抓哪里抓哪里。
巧用自动化,抓取信息并发送微信消息
在微信群中,经常有一些微信群主定时发送一些快报。本次将给介绍给大家一种使用自动化实现类似功能的微信机器人的方法。 网站https://news.ycombinator.com/作为专业hacker 获取信息信息的重要来源,有不少人经常访问它。今天教大家做的自动化,是通过自动化的…
我常用的puppeteer爬虫api
详细介绍请看gayhub,更新周期大约是一个月,本文是基于 v1.4.0写的,大致api是通用的。 本文总结了Puppeteer爬虫的主要用法。我的目标是,有了这篇文章,日常的一般爬虫使用就不需要去看官方文档了。 cnpm i -S puppeteer 用cnpm安装没有试过报…