爬虫
2篇文章 · 0订阅
  • Scrapy框架的使用之Scrapy框架介绍
    Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1. 架构介绍 首先我们看看Scrapy框架的架构，如下图所示。 它可以…
    Scrapy 爬虫 后端
  • Scrapy框架的使用之Scrapy入门
    接下来介绍一个简单的项目，完成一遍Scrapy抓取流程。通过这个过程，我们可以对Scrapy的基本用法和原理有大体了解。 本节要完成的任务如下。 创建一个Scrapy项目。 创建一个蜘蛛来抓取站点和处理数据。 通过命令行将抓取的内容导出。 将抓取的内容保存的到的MongoDB数…
    Scrapy CSS MongoDB