爱奇艺广告业务中利用Flink的实现

238 阅读1分钟

摘要: 今天主要分享的内容是 Flink 在爱奇艺广告业务的实践。内容包括:

  • 业务场景

  • 业务实践\

  • 问题解决

  • 未来规划

1. 业务场景

  1. 大屏展示:包括曝光、点击、收入等核心需求,还有故障率等监控指标\

  2. 异常探查:用于检查系统投放异常,或业务指标趋势的正常发展检查

  3. 数据分析:数据赋能,促进业务发展

  4. 特征工程:实时获取广告算法模型训练的特征

2. 业务实践

实现数据链路的完整:\

  1. 保证数据的完整性,不重复、不遗漏
  2. 具有实时性,实时展现报表
  3. 链路的打通,正常运行可以保证稳定的数据

服务稳定性:\

  1. 端到端服务稳定性,包括数据接入、计算(多层)、数据写入、进度服务、查询服务
  2. 数据质量:数据的准确性,以及数据趋势合理性

查询能力:\

  1. 使用各种业务场景
  2. 实时+离线,更加完备
  3. 数据跨源查询,多源查询,更符合大数据
  4. 查询性能的优化

3. 数仓挑战

  1. 数据进度:时效性vs完整性实时数据用于决策,查询到的数据稳定很关键
  2. 服务稳定性:生产服务链路长,端到端的数据服务稳定性
  3. 查询性能:OLAP分析,秒级响应
  4. 数据表:离线表vs实时表,单表列数上百列\

\

3. 问题解决

\

4. 未来规划