王星P

一、项目介绍 二、项目分工 团队成员 主要贡献 张奕旻 负责技术选型，代码开发，测试 李妍妍 负责技术选型，查阅资料，路线尝试 周陈文浩 参与讨论 三、项目实现 3.1 技术选型与相关开发文档 语言:

这是我参与「第四届青训营 」笔记创作活动的的第6天 数据湖的发展阶段 hdfs的不足:没有记录文件的schema。 hive：metastore：引入了schema，分区等元数据信息，对数据的元数据进

这是我参与「第四届青训营 」笔记创作活动的的第5天 master:监控worker节点，负责资源调度 worker：执行计算任务 启动模式： 本地 standalone yarn spark可以用交互

这是我参与「第四届青训营 」笔记创作活动的的第4天 Watermark watermark的作用：在实时性和乱序容忍做一个平衡，配合时间窗口处理乱序数据。watermark传递机制: 后续算子收到多个

数据流和动态表 动态表和数据流是可以相互转换的。动态表会随时间变化，取某个时间点可以像静态表一样查询，结果与批处理相同。动态表还可以查询仅仅是追加结果的（类似于窗口的处理）。 端到端exactlyon

这是我参与「第四届青训营 」笔记创作活动的的第2天 flink的架构 实时需求场景： 监控场景 规则风控 实时推荐 常用的有API有sqlAPI和DataStreamAPI flink的架构 jobm