实时数据中心建设思路与企业实践|青训营笔记

1,382 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的的第12天

课程资料

课程链接:live.juejin.cn/4354/yc_Dat…

课程PPT:bytedance.feishu.cn/file/boxcnU…

学员手册:juejin.cn/post/713013…

完整手册:bytedance.feishu.cn/docx/doxcnE…

一、企业数据架构

image-20220817222505264

  • 企业整体数据架构:基础引擎、数据集成/生产/服务、开发和治理工具
  • 关键模块及数据流向

    • 数据集成

      • 业务数据收集:数据库变更数据收集(CDC)、业务日志收集(业务数据->数据处理系统)

      image-20220817223451859

      • 大数据系统内传输:基于Flink丰富的connector体系 (数据系统内)

      image-20220817223545849

    • 数据生产:实时和离线生产pipeline (数据系统内)

    image-20220817223612498

    • 数据服务:统一数据服务架构(数据系统->业务系统)

    image-20220817223719671

二、数据中心案例

image-20220817223848239

  • 以房产业务举例说明数据中心建设目标和要求
  • 房产业务介绍:房产服务平台、经纪人、客户
  • 数据中心核心指标分析:供需、过程、结果
  • 数据中心查询要求:查询条件、数据结果、技术要求

三、实时数据生产

  • 案例生产方案分析:数据探查、明确指标口径和产出粒度、生产架构、计算难点
  • 数据探查:分析数据信息是否齐全,即基于原始数据计算指标可行性
  • 数据架构:lambda架构和全量计算架构比对,确定合适的生产架构方案

image-20220817224141957

  • 计算难点解决

    • 全量数据获取:hybrid source

    image-20220817224225396

    • 精确计算

      • 去重&更新处理:基于retract机制
      • 乱序问题解决:流join乱序问题方案
    • 计算效率

      • MiniBatch-聚合计算
      • MiniBatch-join

      image-20220817224605524

  • 数据质量

    image-20220817224510920

    • 任务稳定性:消费LAG、JVM、资源、算子
    • 数据正确性:和离线比对、趋势比对、异常值占比
  • 实时数仓

    image-20220817224717399

    • 数据分层:数据复用,减少重复开发
    • 数据管理:格式、元数据

四、数据服务

image-20220817224833028

  • 整体架构:查询引擎、查询优化和执行、稳定性、元数据
  • 案例查询方案分析

    • 如何更快的查询

      • 原始信息筛选和关联效率
      • 计算处理效率
      • 只关注目标所需数据
  • 关注目标信息

    • 列存
  • 原始信息筛选效率

    • OLAP引擎索引方案
  • 原始信息关联

    • join方案及优化
  • 计算效率

    • 向量化
  • 执行计划优化:RBO、CBO
  • 应用层优化

    • 宽表构建
    • 提升信息密度:bit化、bitmap
  • 查询稳定性

    • 熔断、限流、降级
  • 元数据管理:指标口径管理、查询生成