大数据一锅端

Apache Atlas 1.2.0 的数据仓库元数据管理实战方案。元数据是描述数据的数据，包括表结构、存储统计、血缘关系、业务属性等核心信息。Atlas 是开源的元数据与血缘管理平台，支持 Hive

Apache Atlas 实战部署。元数据管理是数据治理的基础，涉及表结构信息、空间存储、血缘关系及业务属性信息的收集与展示。Apache Atlas 作为 Hadoop 平台元数据框架，支持数据血缘

Apache Airflow 是开源任务调度和工作流管理工具，2016 年捐赠给 Apache 软件基金会。以 Python 代码定义 DAG（有向无环图），提供灵活性、可编程性和强大的 UI 监控界

DAG、Operator、Task、Task Instance、Executor 等核心概念，并通过一个 HelloWorldDag 示例演示 Airflow 的基础使用流程，包括 DAG 脚本编写、

Linux Crontab 与 Apache Airflow 的基础用法、差异定位与工程实践。内容覆盖 Crontab 表达式格式、常见定时配置实例、Airflow DAG/Task/Operator

CentOS 7、MySQL 环境中搭建任务调度平台的读者。内容覆盖 Airflow 基本介绍、DAG 编排、常见使用场景、环境变量配置、初始化数据库、创建用户、启动 scheduler 与 webs

ADS 层订单分析表的设计与加载实现，覆盖全国、大区、城市，以及一级分类、二级分类的多维汇总统计。核心实现基于 dws.dws_trade_orders_w，通过 with mid_orders 先按

电商订单场景，拆解从 ODS → DWD → DWS 的订单链路设计。核心内容包括：订单主表为什么适合做 拉链表、如何按订单创建日期进行 分区设计、订单商品表在 DWD 明细层 的处理方式，以及如何在

系统说明了 DIM 层建模 中两类常见方案：每日快照表 与 拉链表（SCD）。内容覆盖商品分类维表、商家地域组织维表、商品信息维表三类典型场景，重点讲清了 反范式宽表设计、ODS 到 DIM 的分层处

Hive 拉链表、离线数仓、订单历史状态保存、增量刷新、ODS 到 DWD 分层 展开，结合 2020 年订单状态变更案例，说明为什么在数仓建模中，拉链表适合处理“记录会变化、又需要保留历史”的业务对

离线数仓建模方式，实战讲解 Hive 拉链表实现方案，覆盖初始化装载、每日增量更新、历史版本闭链、Shell 调度脚本以及回滚恢复逻辑。示例围绕 userinfo 分区表与 userhis 拉链表展开

缓慢变化维（SCD，Slowly Changing Dimensions）展开，系统梳理 SCD Type 0、1、2、3、4、6 的核心差异，并结合 Hive 离线数仓场景说明快照表与拉链表的适用边

通过 DataX 将 MySQL 数据同步到 HDFS 指定目录，再在 Hive 中创建 ODS 外部表（EXTERNAL TABLE），统一使用 dt 字符串分区，并以逗号作为字段分隔符。核心在于让

使用 DataX（MySQLReader + HDFSWriter）从 MySQL 抽取订单表、订单明细表、产品信息表的日增量数据，落地到 HDFS，并以 dt=yyyy-MM-dd 目录实现分区化存

DataX（mysqlreader + hdfswriter）将 MySQL 电商业务库按“全量/增量”两类策略抽取到 HDFS，并在 Hive 中以 dt=yyyy-mm-dd 进行分区管理。针对维

围绕订单数、商品数、支付金额三大指标，按销售区域与商品类型（三级品类）拆解分析维度。基于 trade_orders、order_product、product_info、product_categor

Hive 离线数仓广告业务的 ADS 层导数流程展开，演示如何在 2020 年业务分区数据基础上，使用 Shell 脚本完成 ADS 层装载，并借助阿里开源 DataX 将 HDFS 中的 Hive

使用 Flume Agent 采集 event 日志并写入 HDFS，再通过 Hive 脚本按日期完成 ODS 层与 DWD 层的数据装载。内容覆盖 Flume Agent 的 Source、Chan

ODS / DWD / ADS 分层，实现广告曝光、点击、购买的分时统计，并进一步完成 点击率（CTR）、购买率（CVR） 与广告效果 Top100 排名分析。内容覆盖 ADS 层建表、按天分区装载

Hive 离线数仓广告业务实战 展开，结合 Flume + Hive + UDF + Parquet 的典型链路，演示如何将原始事件日志从 ODS 层 映射到 Hive 外部表，再在 DWD 层 完成