此刻的我正坐在工位上，看着面前的某网站爬虫代码，陷入了回忆。 这是零工作经验的我入职这家公司以来接到的第一个项目，从零开始写一个爬虫。 既不是在爬虫系统上添加功能，也不是给祖传代码填坑。 我给了自己4、5天时间。 基于程序员必备的搜索技能，我迅速的在github上找到了一个相似…

爬虫主要运行时间消耗是请求网页时的io阻塞，所以开启多线程，让不同请求的等待同时进行，可以大大提高爬虫运行效率。 本文基于多线程（这里开启了10个线程），使用github的api，抓取fork cpython项目的所有5千多个项目信息，将数据存储到json文件中。 抓取gith…