foliage

这是我参与「第四届青训营 」笔记创作活动的第6天 HDFS基本介绍 hadoop技术栈 存储层：HDFS 调度层：YARN 计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的

这是我参与「第四届青训营 」笔记创作活动的第5天 大数据中的shuffle操作 一、shuffle概述 在大数据场景下，数据shuffle表示了不同分区数据交换的过程，不同的shuffle策略性能差异

概述 数据价值：实时性越高，数据价值越高 流式计算和批式计算对比 批处理：数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果。计算引擎为Hive或者Spark等。在计算的时候，数

这是我参与「第四届青训营 」笔记创作活动的第3天 本章比较简单，主要理解Exactly-Once和Checkpoint的原理以及如何去实现。 数据流和动态表的概念 传统SQL和流处理 数据流和动态表之

这是我参与「第四届青训营 」笔记创作活动的第2天 一、Flink概述 什么是大数据 要了解Flink为什么诞生，首先要知道大数据是什么。大数据：指无法在一定时间内用常规工具对其进行获取、存储、管理和处