其实，新浪微博用户图片爬虫是我学习python以来写的第一个爬虫，只不过当时懒，后来爬完Lofter后觉得有必要总结一下，所以就有了第一篇爬虫博客。现在暂时闲下来了，准备把新浪的这个也补上。 言归正传，既然选择爬新浪微博，那当然是有需求的，这也是学习的主要动力之一，没错，就是美…

这是我的一个全栈类型 Django 开源项目的系列讲解教程的目录。 希望更多的人通过本系列的教程更好的认识 Django 开发技术栈或者说是 Web 开发技术栈

我在杭州有位朋友，提到有家做社交的电商很火，叫拼多多，我没有在意，直到有一天，我居然在电视上看到了它的广告，广告画面活蹦乱跳，余音绕梁，我惊呆了，想知道这是何方YL，不，何方神圣，网上搜了下，流传着各种版本，比如月GMV超过400亿啦，已经威胁到京东淘宝啦，等。 辣么，怎么样才…

最近就有一部“怀旧”题材的电影，未播先火，那就是刘若英的处女作——《后来的我们》。青春，爱情，梦想，一直是“怀旧”题材的核心要素，虽然电影现在还未上映，但先行发布的主题曲《我们》，已经虐哭了不少人。在MV里，歌声清清浅浅，诉说着那些年关于爱情里的遗憾。

Python 爬虫实战（一）：使用 requests 和 BeautifulSoup，我们使用了 requests 做网络请求，拿到网页数据再用 BeautifulSoup 解析，就在前不久，requests 作者 kennethreitz 出了一个新库 requests-ht…

运行以后发现，什么都没有打印出来，也就是说test()函数根本没有运行。 运行效果如下图所示。 所以你隐隐觉得，如果pool.map的第二个参数是空的可迭代对象，那么函数就不会运行。 （当然，使用过Python自带的map函数的同学肯定直接就知道这一点，不过本文依然使用它来做例…

一看到这个，密密麻麻的数字和字母，就猜应该是被加密了，不过可以复制下来看看有没有用。接下来看下他的Response，咦，这是个json，不是html结构的，所以需要用到Json库来进行解析 现在开始敲代码吧，先把上面的两个参数复制过来看看。 可以看到，利用json.loads(…

（注：网页解析库的代码都比较通俗易懂，看理论讲解不如直接看代码，自己多写就能对常用方法了然于胸。本文是从整体框架上进行总结，更适合在对库有基本的了解之后再详细跟着文章思路查缺补漏。所以建议本文阅读顺序

1. 下载github的demo代码 2. 观察dmoz文件 3. 运行dmoz爬虫，观察现象 4. scrapy_redis的原理分析 5. 实现分布式爬虫