冬天真的冷

这是我参与「第四届青训营」笔记创作活动的的第10天 一、发展历史 数据湖三阶段：Hadoop、Hive、湖仓一体 Hadoop HDFS-分布式存储系统: HDFS通过将文件分块来存储大文件，HDFS

这是我参与「第四届青训营」笔记创作活动的的第10天 一、适用场景 1.1 什么是HBase ? HBase基于HDFS实现存储计算分离架构的分布式表格存储服务。 HBase是一个开源的NoSQL分布式

这是我参与「第四届青训营」笔记创作活动的的第9天 一、元数据高可用 （主备系统：基于日志、自动切换、实时热备） 1.1服务高可用的需求 故障类型: 1）硬件故障 2）软件故障 3）人为故障 灾难:数据

这是我参与「第四届青训营」笔记创作活动的的第8天 一.HDFS基本介绍 0.1 HDFS: Hadoop Distributed File System 1.1 Windows单机文件系统 1.2 L

这是我参与「第四届青训营 」笔记创作活动的的第七天 1.概述 大数据与OALP系统的演进 什么是大数据 关于大数据我们参考马丁·希尔伯特的总结：大数据其实是在2000年后，因为信息化的快速发展、信息交

这是我参与「第四届青训营 」笔记创作活动的的第6天 一、大数据处理引擎Spark介绍 1.大数据处理技术栈 2.常见大数据处理链路 3.开源大数据处理引擎 Batch：Hadoop、Hive、Spar

这是我参与「第四届青训营」笔记创作活动的第5天 1.Shuffle概述 MapReduce概述 2004年，谷歌发布了《MapReduce:Simplified Data Processing on

这是我参与「第四届青训营」笔记创作活动的第4天 一、概述 1.流式计算vs批式计算 数据价值：实时性越高、数据价值越高 2.批处理 批处理模型典型的数仓为T+1架构，即数据计算是天级别的，当天只能看到

这是我参与「第四届青训营 」笔记创作活动的的第3天！ Exactly Once 语义 1.数据流和动态表 1.1 随处可见的流式数据 1.2 传统SQL和流处理 1.3 数据流和动态表转换 Strea