这是我参与「第四届青训营 」笔记创作活动的第11天
企业数据架构
- 企业整体数据架构：基础引擎、数据集成/生产/服务、开发和治理工具
- 关键模块及数据流向
- 数据集成
- 业务数据收集：数据库变更数据收集(CDC)、业务日志收集(业务数据->数据处理系统)
- 大数据系统内传输：基于Flink丰富的connector体系 (数据系统内)
- 数据生产：实时和离线生产pipeline (数据系统内)
- 数据服务：统一数据服务架构(数据系统->业务系统)
- 数据集成
数据中心案例
- 以房产业务举例说明数据中心建设目标和要求
- 房产业务介绍：房产服务平台、经纪人、客户
- 数据中心核心指标分析：供需、过程、结果
- 数据中心查询要求：查询条件、数据结果、技术要求
实时数据生产
- 案例生产方案分析：数据探查、明确指标口径和产出粒度、生产架构、计算难点
- 数据探查：分析数据信息是否齐全，即基于原始数据计算指标可行性
- 数据架构：lambda架构和全量计算架构比对，确定合适的生产架构方案
- 计算难点解决
- 全量数据获取：hybrid source
- 精确计算
- 去重&更新处理：基于retract机制
- 乱序问题解决：流join乱序问题方案
- 计算效率
- MiniBatch-聚合计算
- MiniBatch-join
- 数据质量
- 任务稳定性：消费LAG、JVM、资源、算子
- 数据正确性：和离线比对、趋势比对、异常值占比
- 实时数仓
- 数据分层：数据复用，减少重复开发
- 数据管理：格式、元数据
数据服务
- 整体架构：查询引擎、查询优化和执行、稳定性、元数据
- 案例查询方案分析
- 如何更快的查询
- 原始信息筛选和关联效率
- 计算处理效率
- 只关注目标所需数据
- 如何更快的查询
- 关注目标信息
- 列存
- 原始信息筛选效率
- OLAP引擎索引方案
- 原始信息关联
- join方案及优化
- 计算效率
- 向量化
- 执行计划优化：RBO、CBO
- 应用层优化
- 宽表构建
- 提升信息密度：bit化、bitmap
- 查询稳定性
- 熔断、限流、降级
- 元数据管理：指标口径管理、查询生成
