Mamba24

新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用LocalExecutor多进程进行数据采集）。以下主要是对airflow的安装和配置。 目前使用的系统环境为C…