Wesson_Wang

本文使用多线程实现一个简易爬虫框架，让我们只需要关注网页的解析，不用自己设置多线程、队列等事情。调用形式类似scrapy，而诸多功能还不完善，因此称为简易爬虫框架。 我们可以对比下面两个版本，一个是上一篇文章中的使用方法，另一个是进行了一些修改，将一些功能抽象出来，以便扩展功能…