Flink 0-1 电商实时数仓项目

DWD层分为 处理业务数据和处理日志数据，业务数据通过 flink CDC 读取动态分流配置， 将 ODS数据 分发到 DWD层 和 DIM层，日志数据通过清洗，放入DWD

5. 定义数据库配置类 6. 定义CDC操作类型枚举类 7. 封装 Kafka 工具类 8. 封装 redis 工具类，缓存DIM数据 9. 封装 Phoenix 工具类，查询 HBase 10. 封

ODS 层 采集到 kafka 直接作为 ODS 层，不需要额外处理，保持数据原貌。 日志数据主题：ods_base_log 业务数据主题：ods_base_db_m DWD 层 日志 DWD 层  

分层介绍 需求分析及实现思路   在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。

业务数据采集 ，用户产生业务数据 后端服务存入Mysql 开启Mysql binlog 使用 Maxwell 将业务数据发送至 Kafka

日志数据采集 流程 前端埋点 通过nginx到日志服务器 将 Event 打印到日志文件 将 Event 发送至Kafka 实现 1. 新建日志项目

概览 一、离线计算和实时计算的差别 离线计算：计算前就已知所以输入数据，且输入数据不会发生变化，一般计算量很大，计算时间也比较长。 一般都是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对着时