恣潜

这是我参与「第四届青训营 」笔记创作活动的第 7 天! HDFS 基本介绍 Hadoop技术体系 存储层：HDFS 调度层：YARN 计算框架：MapReduce。值得注意的是另外一个同属于Apach

这是我参与「第四届青训营 」笔记创作活动的第 6 天! 大数据处理引擎Spark 介绍 Spark 生态 Spark的运行架构和工作原理 Spark应用在集群上运行时，包括了多个独立的进程，这些进程之

这是我参加「第四届青训营」笔记创作活动的第 5 天！ Watermark 1、什么是 Watermark 表示系统认为的当前真实的事件时间。 批处理是一段长时间（往往一天）后对输入计算，得到输出。但是

这是我参与「第四届青训营 」笔记创作活动的第 4 天! Shuffle概述 经典 Shuffle 过程 在开源实现的 MapReduce 中，存在三个阶段：Map 阶段、Shuffle 阶段、Redu

这是我参与「第四届青训营 」笔记创作活动的第 4 天! 1、 常见的查询优化器 查询优化器分类 Top-down Optimizer 从目标输出开始，由上往下遍历计划树，找到完整的最优执行计划 例子：

这是我参与「第四届青训营 」笔记创作活动的第 3 天! 1、数据流和动态表 传统SQL和流处理 有界：数据在一定程度上固定 流：数据源源不断改变、增减 数据流和动态表转换 动态表  ：  随时间不断变

这是我参与「第四届青训营 」笔记创作活动的第 2 天!是关于流_批_OLAP一体的Flink引擎|青训营笔记