蔡一鸣

这是我参与「第四届青训营 」笔记创作活动的第9天 这章我们学习消息队列，这是一个完全陌生的概念，我们按照下面这个顺序依次讲解 什么是消息队列？为什么要用消息队列？ 消息队列为什么要分布式？ 有哪些消息

这是我参与「第四届青训营 」笔记创作活动的第8天 数据湖的历史 一、hadoop HDFS 优点： 可以实现分布式存储 不同目录区分数据集， 缺点： 不能做到多个人同时去修改HDFS里的数据 无法知道

这是我参与「第四届青训营 」笔记创作活动的第7天 本文目标是介绍HDFS基本架构和读写原理，再简单了解一下HDFS高可用和高扩展 HDFS架构 这里直接默认用过HDFS了，就不讲HDFS是个什么东西了

这是我参与「第四届青训营 」笔记创作活动的第6天 在学习Spark的Shuffle流程之前，先要学习几个概念 Shuffle Dependency：创建会产生Shuffle的RDD时，同时会创建一个S

这是我参与「第四届青训营 」笔记创作活动的第5天 这一章我们主要学习spark core原理和spark3.0优化，阅读本文建议有一定的spark基础 首先我们学习spark的运行架构 这里默认下图所

这是我参与「第四届青训营 -大数据场」笔记创作活动的的第4篇笔记 这一章我们的目的是搞清楚Flink是怎么做到实时计算的 我们有几个时间概念要搞清楚： 事件时间：数据产生的时间，比如用户刚点击某个按钮

这是我参与「第四届青训营 -大数据场」笔记创作活动的的第3篇笔记 Flink容错机制 为什么要容错机制？我们Flink是每天24小时不间断运行的，中间机器寄了网络断了都有可能发生吧，我们得从这个故障中

这是我参与「第四届青训营 -大数据场」笔记创作活动的的第2篇笔记 我们主要学习以下几个内容 Flink的架构 Flink引擎的调度流程 动态表与数据流 Flink是什么？ Flink他是一个流式数据实