之前入门了Scrapy，用Scrapy框架爬取了豆瓣电影TOP250，最近打算学习下scrapy-redis分布式爬虫，学习之前再重新温故下Scrapy，这个总结我缩写了很多内容，很多介绍可以看下我之前写的豆瓣电影

在本文中，我不会去谈 React、Angular、Vue 等等这些大的前端框架，也不会谈 Atom、VS code、Sublime 等等这些已经很出名的代码编辑器，我只是想简单的分享一套我认为有助于提升开发者工作流的工具集。 这套工具集中的大部分你可能见过，也可能没见过，如果有…

之前用 Django 做过一个小的站点，感觉 Django 太过笨重，于是就准备换一个比较轻量级的 Web 框架来玩玩。Web.py 作者已经挂掉，项目好久没有更新，所以不准备用它。而 Flask 也是一个成熟的轻量级 Web 框架，在 github 上有众多的 Star 和 Fork，文档和扩展也很丰富，值得学习。

实例1：京东商品页面的爬取现在我们利用requests库爬取这个页面的商品信息首先引入requests库然后爬取页面然后我们测试状态码,编码和内容到此，说明我们已经成功利用requests库获取到了商