DarkSand

现在有很多爬虫框架，比如scrapy、webmagic、pyspider，也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中，爬虫框架各自有各自的优势和缺陷。所以我模仿这些爬虫框架的优势，搭配gevent(实际上是grequests)开发了这套轻量级爬虫框架。