第四届大数据 字节青训营

Shuffle概述 MapReduce存在 Map、Shuffle、Reduce三个阶段 Map阶段，在单机上进行的针对一小块数据的计算过程 Shuffle阶段，在map阶段的基础上，进行数据移动，为

Flink概述 Flink脱颖而出的原因 Flink开源生态 Flink整体架构 Flink分层架构 SDK层：主要有三类， SQL/Table、 DataStream、 Python 执行引擎层（R

这是我参与「第四届青训营 」笔记创作活动的的第15天 容器：通俗地说就是一个装有应用软件的箱子，箱子里面有软件运行所需的依赖库和配置，可以把这个箱子放在任意一台机器上，不影响软件的使用。 Kubern

为什么要机器学习？ 人工智能时代已经到来（个性化推荐、机器翻译、人脸识别......） 大数据成为热议的内容（数据多，产生快，形式杂，组织乱） 解决实际的业务决策问题（业务需要从大数据中挖掘数据背后隐

消息队列 消息队列应用场景 MQ 消息通道 EventBridge 事件总线 Data Platform 数据流平台 主流消息队列 Kafka Kafka架构 Kafka未来演进之路 1、去除zook

Hadoop：基于廉价机器与存算分离的大规模分布式处理系统 OLAP（OnLine Analytical Processing）对业务数据执行多维分析，提供复杂计算，趋势分析和复杂数据建模的能力。是许

Yarn整体架构 调度系统范型 其中集中式和两层式最常用 YARN诞生背景 离线生态 集群资源管理层：YARN 系统架构 Resource Manager 可以有多个Resource Manager，

一致性和共识算法的认识和理解。以及共识算法的实现Raft算法的介绍，包括Leader选举、日志复制、安全性

为什么做数据用户分析 数据分析的各个环节包括数据源、分析工具、可视化以及贯穿全程的指标体系四部分 数据分析流程和案例

最为Hadoop的生态的一环，本文介绍HDFS的基础概念，NameNode和DataNode组件功能以及关键设计

HBase基础概念 什么是HBase，HBase读写，数据模型，物理结构和逻辑结构，使用场景，架构设计

LSMT存储引擎现在越来越流行，本文介绍了LSMT存储引擎是什么，为什么使用，如何实现，以及未来的展望？

1、数据流和动态表 2、Exactly-Once 和 Checkpoint 3、端到端 Exactly-Once 实现 4、link 案例讲解

Watermark、两个案例、三种window（滑动窗口，滚动窗口，绘画窗口）、四种优化（Mini-batch、local-global、Distinct状态复用、滑动窗口pane复用）

这是我参与「第四届青训营 」笔记创作活动的的第1天，学习了SQL的执行流程，常见的查询优化器，开源的Apache Calicite项目和前沿趋势