《深度学习推荐系统实战》 学习笔记 4月Day8

132 阅读1分钟

30 | 流处理平台:Flink是如何快速识别用户兴趣,实现实时推荐的?

你好,我是王喆。刚刚结束的 2020 年双 11 活动,让技术圈出现了一个非常劲爆的新闻,就是阿里基于 Flink,实现了数据的批流一体处理,每秒能够处理 40 亿条的巨量数据。这也是业界首次在这么大规模的数据洪峰之上,实现数据流的实时处理。也正是因为实时数据流处理功能的实现,让阿里的推荐系统引擎能够在双 11 期间做出更快速的反应,实时抓住用户的兴趣,给出更准确的推荐。这节课,我就带你揭开阿里使用流处理平台 Flink 的面纱,来重点解决这 3 个问题:为什么说实时性是影响推荐系统效果的关键因素?到底什么是批流一体的数据处理体系?业界流行的 Flink 到底是怎么实现数据流处理的?为什么实时性是影响推荐系统效果的关键因素?