冬天真的冷

这是我参与「第四届青训营」笔记创作活动的的第10天 一、发展历史 数据湖三阶段：Hadoop、Hive、湖仓一体 Hadoop HDFS-分布式存储系统: HDFS通过将文...

这是我参与「第四届青训营」笔记创作活动的的第10天 一、适用场景 1.1 什么是HBase ? HBase基于HDFS实现存储计算分离架构的分布式表格存储服务。 HBase...

这是我参与「第四届青训营」笔记创作活动的的第9天 一、元数据高可用 （主备系统：基于日志、自动切换、实时热备） 1.1服务高可用的需求 故障类型: 1）硬件故障 2）软件故...

这是我参与「第四届青训营」笔记创作活动的的第8天 一.HDFS基本介绍 0.1 HDFS: Hadoop Distributed File System 1.1 Windo...

这是我参与「第四届青训营 」笔记创作活动的的第七天 1.概述 大数据与OALP系统的演进 什么是大数据 关于大数据我们参考马丁·希尔伯特的总结：大数据其实是在2000年后，...

这是我参与「第四届青训营 」笔记创作活动的的第6天 一、大数据处理引擎Spark介绍 1.大数据处理技术栈 2.常见大数据处理链路 3.开源大数据处理引擎 Batch：Ha...

这是我参与「第四届青训营」笔记创作活动的第5天 1.Shuffle概述 MapReduce概述 2004年，谷歌发布了《MapReduce:Simplified Data ...

这是我参与「第四届青训营」笔记创作活动的第4天 一、概述 1.流式计算vs批式计算 数据价值：实时性越高、数据价值越高 2.批处理 批处理模型典型的数仓为T+1架构，即数据...

这是我参与「第四届青训营 」笔记创作活动的的第3天！ Exactly Once 语义 1.数据流和动态表 1.1 随处可见的流式数据 1.2 传统SQL和流处理 1.3 数...

这是我参与「第四届青训营 」笔记创作活动的的第2天 Flink 一、Apache Flink 的诞生背景 1、 什么是大数据 大数据（Big Data） :指无法在一定时间...

大数据体系和SQL查询优化器浅析 | 青训营笔记 这是我参与「第四届青训营 」笔记创作活动的的第1天 一、大数据体系和SQL 1、大数据体系 SQL一般应用于批式处理、实时...