最近我的好友在写项目的时候经常会抱怨数据的来源，的确对于一个前端来说，数据接口数据资源永远是Mock。网上看很多大神python，node玩的飞起。但自我感觉，并没有一套好的流程方案可以走进我们开发的流程中。为了帮助我的好友并且需要数据的你来说，可以仔细的看看整套流程。因为我也…

那是一个风和日丽的下午，我入手了人生第一把基金，从此以后，这只鸡🐔就跌入了万劫不复的深渊，之后我居然还傻傻地追加了几笔，到现在为止此坑都还没填平... “是时候动用一些封印的力量了”，我捂紧又皱又瘪的荷包，扛起node大宝剑，从新手村起步，屠龙...哦不，杀鸡之旅徐徐展开。 …

在上一篇Node 爬虫入门已经介绍过最简单的 Node 爬虫实现，本文在原先的基础上更进一步，探讨一下如何绕过登录，爬取登录区内的数据 目录 理论基础 如何维持登录态 浏览器是怎么做的 node实现 访问登录接口获取cookie 请求登录区内接口 如果有验证码怎么破 延伸 总结…

对了，我开通了个人的 个人主页，里面有自己的技术文章，还会有个人的随想、思考和日志。以后所有的文章都会第一时间更新到这里，然后同步到其他平台。有喜欢的朋友可以没事去逛逛，再次感谢大家的支持！ 注：因为在写这篇文章的时候用的电脑真心比较渣。安装WebStorm或者VsCode跑项…

边做边学效率更高，爬虫是node的适用场景之一，关于爬虫的另一篇文章为了验证“简书上，经验总结、资料归集类技术文章更容易上热榜”的猜想，可以做一个爬虫：爬取简书程序员专题热门文章前999篇，统计每篇文章的代码块数量（为什么是统计代码块数量，对于人来说，通过一篇文章的标题内容来判…

之前看过一篇脑洞大开的文章，介绍了各个大厂的前端反爬虫技巧，但也正如此文所说，没有100%的反爬虫方法，本文介绍一种简单的方法，来绕过所有这些前端反爬虫手段。 可以发现，百度指数实际上在前端做了一定的反爬虫策略。当鼠标移动到图表上时，会触发两个请求，一个请求返回一段html，一…

本文将会教你如何用 JavaScript 自动化 web 爬虫，技术上用到了 Google 团队开发的 Puppeteer。 Puppeteer 运行在 Node 环境，可以用来操作 headless Chrome。何谓 Headless Chrome？通俗来讲就是在不打开 C…

分享下个人爬虫所用的 Node.js 模块, 做一个小整合, 也希望对大家有帮助~