摘要: 今天主要分享的内容是 Flink 在爱奇艺广告业务的实践。内容包括:
-
业务场景
-
业务实践\
-
问题解决
-
未来规划
1. 业务场景
-
大屏展示:包括曝光、点击、收入等核心需求,还有故障率等监控指标\
-
异常探查:用于检查系统投放异常,或业务指标趋势的正常发展检查
-
数据分析:数据赋能,促进业务发展
-
特征工程:实时获取广告算法模型训练的特征
2. 业务实践
实现数据链路的完整:\
- 保证数据的完整性,不重复、不遗漏
- 具有实时性,实时展现报表
- 链路的打通,正常运行可以保证稳定的数据
服务稳定性:\
- 端到端服务稳定性,包括数据接入、计算(多层)、数据写入、进度服务、查询服务
- 数据质量:数据的准确性,以及数据趋势合理性
查询能力:\
- 使用各种业务场景
- 实时+离线,更加完备
- 数据跨源查询,多源查询,更符合大数据
- 查询性能的优化
3. 数仓挑战
- 数据进度:时效性vs完整性实时数据用于决策,查询到的数据稳定很关键
- 服务稳定性:生产服务链路长,端到端的数据服务稳定性
- 查询性能:OLAP分析,秒级响应
- 数据表:离线表vs实时表,单表列数上百列\
\
3. 问题解决
\