业余时间在写一个聚合类 App 的后台 api，苦于没有数据，只能在网上借点儿。 上周末花了一天时间在家里，做做饭、浇浇花、顺便借了点数据，上 google 搜了下这个主题，简单预览了下搜索结果排名第一的网站，就决定是它了。

本文全面的介绍了爬虫的原理、技术现状、以及目前仍面临的问题。如果你没接触过爬虫，本文很适合你，如果你是一名资深的虫师，那么文末的彩蛋你可能感兴趣。

可以爬取微博的一切，包括微博内容、评论、关注者等一切。

Nodejs 将前端开发语言移植到服务器端，如今一个前端开发者使用 Nodejs 很容易就能实现一个网络爬虫，这在之前是不可想象的，本文介绍一个简单的 Nodejs 爬虫的开发过程

本节我们将介绍新浪微博宫格验证码的识别。微博宫格验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了应该的滑动轨迹。我们要按照滑动轨迹依次从起始宫格滑动到终止宫格，才可以完成验证，如下图所示。 鼠标滑动后的轨迹会以黄色的连线来标识，如下图所示。 访问新浪微博移动版…

Beanbun 是用 PHP 编写的多进程网络爬虫框架，支持分布式，具有良好的开放性、高可扩展性。

在爬虫入门到精通第四讲中，我们了解了如何下载网页，这一节就是如何从下载的网页中获取我们想要的内容。作者最后分享的有关正则表达式的链接也不错。