大数据一锅端

电商订单场景，拆解从 ODS → DWD → DWS 的订单链路设计。核心内容包括：订单主表为什么适合做 拉链表、如何按订单创建日期进行 分区设计、订单商品表在 DWD 明细层 的处理方式，以及如何在

系统说明了 DIM 层建模 中两类常见方案：每日快照表 与 拉链表（SCD）。内容覆盖商品分类维表、商家地域组织维表、商品信息维表三类典型场景，重点讲清了 反范式宽表设计、ODS 到 DIM 的分层处

Hive 拉链表、离线数仓、订单历史状态保存、增量刷新、ODS 到 DWD 分层 展开，结合 2020 年订单状态变更案例，说明为什么在数仓建模中，拉链表适合处理“记录会变化、又需要保留历史”的业务对

离线数仓建模方式，实战讲解 Hive 拉链表实现方案，覆盖初始化装载、每日增量更新、历史版本闭链、Shell 调度脚本以及回滚恢复逻辑。示例围绕 userinfo 分区表与 userhis 拉链表展开

缓慢变化维（SCD，Slowly Changing Dimensions）展开，系统梳理 SCD Type 0、1、2、3、4、6 的核心差异，并结合 Hive 离线数仓场景说明快照表与拉链表的适用边

通过 DataX 将 MySQL 数据同步到 HDFS 指定目录，再在 Hive 中创建 ODS 外部表（EXTERNAL TABLE），统一使用 dt 字符串分区，并以逗号作为字段分隔符。核心在于让

使用 DataX（MySQLReader + HDFSWriter）从 MySQL 抽取订单表、订单明细表、产品信息表的日增量数据，落地到 HDFS，并以 dt=yyyy-MM-dd 目录实现分区化存

DataX（mysqlreader + hdfswriter）将 MySQL 电商业务库按“全量/增量”两类策略抽取到 HDFS，并在 Hive 中以 dt=yyyy-mm-dd 进行分区管理。针对维

围绕订单数、商品数、支付金额三大指标，按销售区域与商品类型（三级品类）拆解分析维度。基于 trade_orders、order_product、product_info、product_categor

Hive 离线数仓广告业务的 ADS 层导数流程展开，演示如何在 2020 年业务分区数据基础上，使用 Shell 脚本完成 ADS 层装载，并借助阿里开源 DataX 将 HDFS 中的 Hive

使用 Flume Agent 采集 event 日志并写入 HDFS，再通过 Hive 脚本按日期完成 ODS 层与 DWD 层的数据装载。内容覆盖 Flume Agent 的 Source、Chan

ODS / DWD / ADS 分层，实现广告曝光、点击、购买的分时统计，并进一步完成 点击率（CTR）、购买率（CVR） 与广告效果 Top100 排名分析。内容覆盖 ADS 层建表、按天分区装载

Hive 离线数仓广告业务实战 展开，结合 Flume + Hive + UDF + Parquet 的典型链路，演示如何将原始事件日志从 ODS 层 映射到 Hive 外部表，再在 DWD 层 完成

基于 Hadoop + Hive + HDFS + DataX + MySQL 的会员主题与广告业务链路验证。内容先对活跃会员、新增会员、会员留存等指标在 DWS/ADS 层进行脚本级测试，再将结果

离线数仓、Flume、HDFS、Hive、ODS、DWD、DWS、ADS 展开，演示一套从日志采集到会员指标分析的完整链路，适合用于 2024/2025 年 Hadoop/Hive 离线数仓实战教学。

离线数仓 ADS 层 Hive 表导出到 MySQL”的落地链路，给出 DataX 典型方案：hdfsreader -> mysqlwriter。适用于 Hive 分区表按 dt=$do_date

离线数仓（Data Warehouse）中“会员留存（Retention）”的落地做法：用 Hive 在 DWS 层沉淀“每日会员留存明细表”（dws_member_retention_day）

离线数仓（Hive）中“新增”“留存”的口径与落地实现，给出一套可直接复用的工程化方案：先计算新增，再基于新增计算留存。核心做法是维护一张“所有信息表（id, dt）”，dt 记录

Hive 离线数仓口径：以“启动日志”为 DWD 明细，构建 DWS 主题汇总（dws_member_start_day / week / month），最终在 ADS 层输出活跃会员数（DAU

Hive 离线数仓中的 JSON 数据处理，覆盖三类最常见需求：1）从 JSON 串中取数组字段并在 SQL 中 explode 展开；2）从 JSON 串中同时解析普通字段（json_tuple）