今天我们要来开发一个小说爬虫，首先我们得选择一个适合我们爬取的网站笔趣阁，当然网上的笔趣阁有很多，但理论上经过我们的配置，我们可以达到写一个爬虫就可以爬尽各种“笔趣阁”。

我们都知道AI模型和应用离不开数据支持, 最近在做模型数据分析的时候发现一款非常强大的开源爬虫库——Crawlee, 是一个用于 Node.js 的网络爬虫和浏览器自动化库

我们在找工作的时候，都会用 boss 直聘、拉钩之类的 APP 投简历。 根据职位描述筛选出适合自己的来投。 此外，职位描述也是我们简历优化的方向，甚至是平时学习的方向。 所以我觉得招聘网站的职位描述

Puppeteer是一个Node库，它提供了一个高级 API 来通过 DevTools协议控制Chromium或Chrome。简单点说，就是使用Node命令控制一个无需渲染至用户界面的浏览器。 与使用PhantomJS搭配Python进行爬虫抓取类似，其原理也是去完全地模拟一个…

选用Koa作为web框架，用三篇文章分别讲解Node.js编写接口、服务端渲染（SSR）和MySQL数据库。Koa是基于Node.js实现的web框架。是一款轻量的框架，所有功能通过插件实现。

最近在维护一款内网穿透的工具，我发现市面上的内网穿透工具很多，包括 Ngrok 、Localtunnel 、FRP ，他们的实现原理都差不多。我一开始认为内网穿透可以通过 Nginx 实现，但是通过对一些内网穿透工具原理的分析我才发现我理解得太简单了，接下来我会讲下内网穿透工具…

静态服务器 使用node搭建一个可在任何目录下通过命令启动的一个简单http静态服务器 完整代码链接 安装：npm install yg-server -g 启动：yg-server 可通过以上命令安

这篇文章，主要用于收集整理常用的Puppeteer的一些常用API操作，自动化操作，爬虫测试，基础使用等等。当然至于是什么是Puppeteer呢，我们来看下官方介绍：Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可…

周末自己在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，自己就想着作为一个码农，可以把这些图片都爬取下来做成一个微信小程序，说干就干，了解一下基本都知道怎么做了，整理分享一波给大家。 安装成功后会出现你所安装的版本号。 新建一个·名为…