用户3618319768332

这是我参与「第四届青训营 」笔记创作活动的第12天 1. 发展历程 1.1 数据湖发展阶段---Hadoop 数据湖最开始的概念一分布式存储HDFS 使用目录来区分不同的数据集 /douyin /20

这是我参与「第四届青训营 」笔记创作活动的第11天 1. Hbase HBase是一个开源的NoSQL分布式数据库，是Apache软件基金会顶级项目之一。 参考Google BigTable的设计，对

这是我参与「第四届青训营 」笔记创作活动的第10天 1. 元数据服务高可用 1.1 高可用的形式 服务高可用 热备份 冷备份 故障恢复时间 人工切换 自动切换 人工的反应、决策时间都更长，高可用需要让

这是我参与「第四届青训营 」笔记创作活动的第9天 1. 框架原理 1.1 HDFS组件 1.2 Client写流程 1.3 Client读流程 1.4 元数据节点NameNode 维护目录树 维护目录

这是我参与「第四届青训营 」笔记创作活动的第8天 概述 OLAP(OnLine Analytical Processing)  对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。是

这是我参与「第四届青训营 」笔记创作活动的第7天 数据shuffle表示了不同分区数据交换的过程，不同的shuffle策略性能差异较大。目前在各个引擎中shuffle都是优化的重点，在spark框架中

这是我参与「第四届青训营 」笔记创作活动的第6天 1.Spark介绍 1.1 大数据处理栈 1.2 常见大数据处理链路 1.3 Spark生态&特点 --统一引擎，支持多种分布式场景 --多语言支持（

这是我参与「第四届青训营 」笔记创作活动的第5天 前提概述 数据价值：实时性越高，数据价值越高 批处理 1.批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果。

这是我参与「第四届青训营 」笔记创作活动的第4天 1. 数据流和动态表 1.1 传统的SQL和流处理 1.2 数据流和动态表的转换 数据流 动态表 连续查询 另一种数据流 1.3 在流上定义表 单击事