TL;DR
- 场景：在 CentOS 7 + MySQL 环境部署 Apache Airflow，并梳理基础概念、安装流程与 Web 使用。
- 结论：当前内容能覆盖入门，但存在明显版本混用，尤其是 Airflow 1.10.11 与 2.x 命令不一致。
- 产出：补齐版本矩阵与错误速查卡，方便读者按版本正确安装、初始化、建库、建用户和启动服务。
Airflow 基本介绍
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。
Airflow 的特点
以代码为中心
Airflow 使用 Python 定义 DAG，提供灵活性和可编程性。
扩展性强
用户可以自定义 Operator 和 Hook，集成各种数据源和工具。
强大的 UI 界面
提供可视化界面监控任务状态、查看日志、重试失败任务等。
丰富的调度选项
支持基于时间 (Time-based) 和事件 (Event-based) 的调度。
高可用性
配合 Celery 和 Kubernetes 等执行器，支持分布式架构，适合处理大规模任务。
使用场景
数据管道调度
用于管理数据从源到目标的 ETL 流程。 如每天从数据库中抽取数据、清洗后存入数据仓库。
机器学习工作流管理
调度数据预处理、模型训练和模型部署任务。
数据验证
自动化检查数据的质量和一致性。
定期任务自动化
定时清理日志、归档数据或生成报告。
Airflow安装部署
安装依赖
- CentOS 7.x
- Python 3.5 以上版本
- MYSQL 5.7.x
- Apache-Airflow 1.10.11
- 虚拟机可上网，需要在线安装包
备注：后面要安装三个软件Airflow、Atlas、Griffin，相对Hadoop的安装都较为复杂
- 正式安装软件之前给虚拟机做一个快照
- 按照讲义中指定的软件安装
- 按照讲义的步骤执行对应的命令，命令的遗漏会对后面的安装造成影响
pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple
# 后续不一定需要 如果报错 根据缺少的依赖补齐即可
# 不一定需要
pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple
# 不一定需要
pip install SQLAlchemy -i https://pypi.tuna.tsinghua.edu.cn/simple
安装过程如下所示：
环境变量
# 设置目录（配置文件）
# 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
export AIRFLOW_HOME=/opt/servers/airflow
配置的结果如下所示：
初始化环境
airflow initdb
执行结果如下所示：
此时我们修改配置文件：
vim /opt/servers/airflow/airflow.cfg
查看 sql_alchemy_conn，修改一下内容：
mysql://hive:hive%%40wzk.icu@h122.wzk.icu:3306/airflow_db
修改的内容如下所示：
修改之后，保存，重新执行初始化操作（需要在数据库中确认已经建立了 airflow_db）
airflow db init
可以看到顺利的执行执行了
查看数据库
可以看到数据库中的表已经通过刚才的指令生成出来了：
创建用户
airflow users create \
--username wzkicu \
--firstname wzk \
--lastname icu \
--role Admin \
--email airflow@wzk.icu
生成结果如下图所示：
启动服务
airflow scheduler -D
airflow webserver -D
启动结果如下图：
启动结果如下图：
访问服务
http://h122.wzk.icu:8080
可以看到访问结果如下所示：
输入刚才创建的账号和密码：
Web界面
- Trigger Dag：人为执行触发
- TreeView：当dag执行的时候，可以点入，查看每个Task的执行状态（基于树状视图），状态：success、running、failed、skipped、retry、queued、no status
- Graph View：基于图视图（有向无环图） 查看每个Task的执行状态
- Tasks Duration：每个Task的执行时间统计，可以选择最近多少次执行
- Task Tries：每个Task的重试次数
- Gantt View：基于甘特图的视图，每个Task的执行状态
- Code View：查看任务执行代码
- Logs：查看执行日志，比如失败原因
- Refresh：刷新dag任务
- DELETE Dag：删除该Dag任务
错误速查
| 症状 | 根因 | 定位 | 修复 |
|---|---|---|---|
| airflow initdb 可执行，但后面又用了 airflow db init | Airflow 1.10.11 与 2.x 命令混用 | 先执行 airflow version | 统一全文版本，只保留一套命令体系。 |
| airflow users create 报命令不存在 | 实际安装的是 1.10.x | airflow --help 查看子命令 | 若写 1.10.11，改为对应的用户管理方式；若写 2.x，前文版本与安装命令同步改掉。 |
| pip install apache-airflow 后安装结果不一致 | 未锁定具体版本与依赖约束 | pip show apache-airflow | 显式指定版本，避免“今天能装、明天报错”。 |
| airflow db init 连接 MySQL 失败 | sql_alchemy_conn 配置错误、数据库未创建、权限不足 | 检查 airflow.cfg、MySQL 库表与授权 | 先建库，再校验连接串、用户名密码、主机连通性。 |
| MySQL 密码中含特殊字符后连接异常 | URL 编码处理不一致 | 检查密码是否含 @、% 等字符 | 使用正确编码后的连接串，并与当前 Airflow/SQLAlchemy 版本匹配。 |
| Web 页面打不开 http://host:8080 | webserver 未启动、端口未放通、服务监听异常 | ps、日志、端口监听 | 确认 airflow webserver -D 成功，检查防火墙、安全组、反向代理。 |
| scheduler 启动了但 DAG 不执行 | DAG 文件未加载、解析报错、调度器异常 | Web UI、scheduler 日志、DAG 目录 | 检查 DAG 路径、Python 语法、依赖导入与调度器日志。 |
| 数据库表没生成 | 初始化命令没真正成功 | 查看执行日志与元数据库表 | 确认元数据库连通后重新初始化。 |
| 页面可登录但功能异常 | 版本、依赖或元数据库迁移状态不一致 | 查看 Web 日志、DB 表结构 | 保证 Airflow 版本、数据库结构、命令体系一致。 |
其他系列
🚀 AI篇持续更新中（长期更新）
AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究，持续打造实用AI工具指南！ AI研究-132 Java 生态前沿 2025：Spring、Quarkus、GraalVM、CRaC 与云原生落地
💻 Java篇持续更新中（长期更新）
Java-218 RocketMQ Java API 实战：同步/异步 Producer 与 Pull/Push Consumer MyBatis 已完结，Spring 已完结，Nginx已完结，Tomcat已完结，分布式服务已完结，Dubbo已完结，MySQL已完结，MongoDB已完结，Neo4j已完结，FastDFS 已完结，OSS已完结，GuavaCache已完结，EVCache已完结，RabbitMQ已完结，RocketMQ正在更新... 深入浅出助你打牢基础！
📊 大数据板块已完成多项干货更新（300篇）：
包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件，覆盖离线+实时数仓全栈！ 大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT案例 详解
