大数据青训营学习笔记

这是我参与「第四届青训营」笔记创作活动的第15天。 写在前面 消息队列与数据流中间件是在现代大数据框架与解耦的服务架构中必不可少的工具，让开发更加自由与高效。

这是我参与「第四届青训营 」笔记创作活动的的第14天。LSMT是Log-Structured Merge Tree的缩写，通过append-only write + 择机 compact来维护结构。

这是我参与「第四届青训营 」笔记创作活动的的第13天。 写在前面 列式存储是高性能计算的秘密之一，理解列存储的场景、了解常见的编码和压缩算法以及学会在大数据分析中选择合适的列存储格式，能够帮助我们优化

这是我参与「第四届青训营 」笔记创作活动的的第11天。 写在前面 分布式一致性协议是保证分布式系统的consistent特性的一大重要内容，学习和总结分布式一致性协议的算法可以有效理解分布式存储的背后

这是我参与「第四届青训营 」笔记创作活动的的第11天。 写在前面 SQL优化是大数据查询引擎不可绕过的一个环节，我对Spark SQL使用上的经验让我对SQL的逻辑计划和物理计划优化产生兴趣，探索优化

这是我参与「第四届青训营 」笔记创作活动的的第6天。 写在前面 在硕士期间的学习过程中学习过HDFS的架构和使用场景，但是结合业务实际的架构介绍还是第一次，很有理论联系实际的价值。

这是我参与「第四届青训营 」笔记创作活动的的第4天。 一、Shuffle概述 1. Shuffle是什么 MapReduce Map:单机上对一小块数据进行的计算过程 Shuffle: Map阶段基础

这是我参与「第四届青训营 」笔记创作活动的的第3天。 一、Spark简介 1. Spark版本亮点 Spark3.0 AQE: Adaptive Query Execution DPP

这是我参与「第四届青训营 」笔记创作活动的的第2天。 一、课程内容 1. 概述 流式计算与批计算相比的区别 2. Watermark 含义、生成方法和传递机制 3. Window的高级性能

这是我参与「第四届青训营 」笔记创作活动的的第1天 大数据的实时性带来的价值更大 监控场景：防止业务故障 金融风控：阻断丰线 兴趣推荐：实时推送 批式计算to流式计算 批式计算 离线计算、非实时 静态