本文将会教你如何用 JavaScript 自动化 web 爬虫，技术上用到了 Google 团队开发的 Puppeteer。 Puppeteer 运行在 Node 环境，可以用来操作 headless Chrome。何谓 Headless Chrome？通俗来讲就是在不打开 C…

原文地址：Before you bury yourself in packages, learn the Node.js runtime itself 原文作者：该文章已获得作者 Samer Buna 授权 译文出自：掘金翻译计划 译者：fghpdf 校对者：rccoder，r…

在上一篇Node 爬虫入门已经介绍过最简单的 Node 爬虫实现，本文在原先的基础上更进一步，探讨一下如何绕过登录，爬取登录区内的数据 目录 理论基础 如何维持登录态 浏览器是怎么做的 node实现 访问登录接口获取cookie 请求登录区内接口 如果有验证码怎么破 延伸 总结…

websocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯的协议。大多数 Web 应用程序将通过频繁的异步JavaScript和XML（AJAX）请求实现长轮询。轮询的效率低，非常浪费资源。而websocket能够很好的解决类似的问题。常用于即时通讯、监控等情…

在经历了6,7个项目同时开工，频繁发布测试 ，不得不学会一点偷懒的小技巧来提高效率了，所以这篇文章要讲的就是如何更加优化发布流程。 工作以来，经历了build后，然后用FileZilla上传服务器完成部署。再到前端打包后 ，在build仓库执行git push,后端在自动部署。…

npm在前端开发流程中提供了非常完善的自动化工具链，已成为每个前端开发者必备的工具，但是同样由于其强大性导致很多前端开发者只会简单的使用它。本文将总结在日常开发中所需要的npm知识点，以便开发者们更好的将npm运用在实际开发中。 1. npm 处理 node_modules 目…

那是一个风和日丽的下午，我入手了人生第一把基金，从此以后，这只鸡🐔就跌入了万劫不复的深渊，之后我居然还傻傻地追加了几笔，到现在为止此坑都还没填平... “是时候动用一些封印的力量了”，我捂紧又皱又瘪的荷包，扛起node大宝剑，从新手村起步，屠龙...哦不，杀鸡之旅徐徐展开。 …

在知乎提到python就必有一大帮人提起爬虫，咱Node JS爬虫也是非常简单的，和python相比仅仅是“异步”和“多线程”的性能对比而已。对python了解不多，故对此不做评价。 phantomjs是一个‘无壳’的chrome，具体安装方法查看phantomjs.org。p…

起因：老爸让我下载几千首歌曲给他在车上播放，感觉手动下载，就算批量下载也要时间，索性写个爬虫自动下载吧。。 requestSongList的使用跟上面playList的差不多，因此不再重复。上面代码获取到歌曲列表后，需要下载到本地 到此，爬虫小程序完成。该项目爬取歌单列表-->…