wholegale39

一篇利用Pyspider编写网络爬虫的实践

豆瓣高级产品开发的无保留分享，看过的都说好

一共 15 篇随笔，主要是为了记录数据分析过程中的一些小 demo，分享给其他需要的网友，更为了方便以后自己查看，15 篇随笔，每篇内容基本都是以一句说明加一段代码的方式， 保持简单小巧，看起来也清晰。 作者：杨存村長 @ 简书

接管你的微信聊天

这篇文章呢，就是给那些找不到 Python 项目开发教程的人，以及不知道 Python 可以开发什么的人的……

图像（包括动图）是传递信息的一种高效方式，往往能增强表象、记忆与思维等方面的反应强度。所谓一图胜千言，说的就是这个道理。 今天为大家整理了十张动图 GIFS，有助于认识循环、递归、二分检索等概念的具体运行情况。代码实例以 Python 语言编写。

知乎现在改用 https 请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上 request header，尽可能接近浏览器请求的样子。

从写 nodejs 的第一个爬虫开始陆陆续续写了好几个爬虫，从爬拉勾网上的职位信息到爬豆瓣上的租房帖子，再到去爬知乎上的妹子照片什么的，爬虫为我打开了一扇又一扇新世界的大门。除了涨了很多姿势之外，与网管斗智斗勇也是一个比较有意思的事情。这篇文章就简单来分享一下那些年我们写过的爬虫吧。

这两天项目中遇到一个问题，思来想去觉得还是用 Redis 来解决比较合适，如果朋友们有更合理的解决方案，欢迎不吝赐教。