大数据羊说

公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。 回顾上一节的「技术架构」图。 整个架构相对来说是比较好理解的。从数据源到数据处理以及最后到数据汇部分。 但是大家的疑惑点可能就集中在三个维表的建设上，包含「主播用户画像维表，观众用…

公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。 随着互联网络技术的发展，网络直播受到越来越多人的关注，直播在经过几年前的喷涌式大爆发之后，近段时间热度有所降低。内容的同质化和变现困难是直播现在面临的主要问题，随着移动终端普及和网…

需求诱诱诱来了。。。数据产品妹妹想要统计单个短视频粒度的「点赞，播放，评论，分享，举报」五类实时指标，并且汇总成 photo_id、1 分钟时间粒度的实时视频消费宽表（即宽表字段至少为：「photo_id + play_cnt + like_cnt + comment_cnt …

如 title，直接上实践案例和使用方式。 「方案 1 - 离线方式修复」：通过离线方式产出修复数据，对脏数据进行覆盖操作。缺点是故障修复延迟较高，需要切换离线、实时数据源，人工操作成本较高 「方案 2 - 实时方式修复」：重跑修数逻辑，产出修复数据至 kafka X-fix，…

简要介绍下这次生产中故障场景。整条故障追踪链路如下： 解决方案是以下游 「flink 任务 B」 作为切入点，直接给出 「flink 任务 B」 的 sql 代码解决方案，java code 也可以按照这个方案实现，其本质原理相同。下文进行原理解释。 首先明确一个无法避免的问题…