scrapy是一个非常成熟的爬虫框架，里面几乎封装好了开发者所需要的所有模块，例如：request,代理，日志，url自动去重等等，一些不太满意的模块也是稍加修改就行。