Scrapy 框架结构清晰，基于 twisted 的异步架构可以充分利用计算机资源，是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。

上一篇文章《爬取11088个知乎专栏，打破发现壁垒》里提到，知乎官方没有搜素专栏的功能，于是我通过爬取几十万用户个人主页所关注的专栏从而获取到11088个知乎专栏。 本回筛选出其中涉及：编程、python、爬虫、数据分析、挖掘、ML、NLP、DL等关键词的专栏，按照排名、关注人…

Python学习到了一点阶段，就可以接触到网络爬虫了，网络爬虫具有很高的可玩性，这理就罗列了32个具有娱乐与技术性的项目，让你心满意足。

最近有个需求是批量下载安卓 APP。显然，刀耕火种用手点是不科学的。于是尝试用 Python 写了一个半自动化的脚本。所谓半自动化，就是把下载链接批量抓取下来，然后一起贴到迅雷里进行下载，这样可以快速批量下载。