分享下个人爬虫所用的 Node.js 模块, 做一个小整合, 也希望对大家有帮助~

在 nodejs 中，path 是个使用频率很高，但却让人又爱又恨的模块。部分因为文档说的不够清晰，部分因为接口的平台差异性。 将 path 的接口按照用途归类，仔细琢磨琢磨，也就没那么费解了。

今天 7 月 10 号，到 8 月 10 号，正好来搜车前端一年。 刚来这时，还是个 Noder 新手，当然现在也是。那时面对百万行数量级的代码，一旦出个问题又没有错误栈，简直就是梦魇~。当面对线上 bug 时，便是这种窘境，然后本地测试下来，却又是好的，抓狂。

基础知识 Node.js 进程的内存管理，都是有 V8 自动处理的，包括内存分配和释放。那么 V8 什么时候会将内存释放呢？ 在 V8 内部，会为程序中的所有变量构建一个图，来表示变量间的关联关系，当变量从根节点无法触达时，就意味着这个变量不会再被使用了，就是可以回收的了。 而这个回收是一个过程性...

按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类），利用正则匹配或第三方模块解析 HTML 代码，提取有效数据，将数据持久化到数据库中

目前 Nodejs 编写一个守护进程非常简单，在 6.3.1 版本中已经存在非常方便的 API，这些 API 可以帮助我们更方便的创建一个守护进程。本文仅在描述守护进程的创建方式，而不会对守护进程所要执行的任务做任何描述。