字节跳动青训营

这是我参与「第四届青训营 」笔记创作活动的第14天 9.3 元数据高扩展性 1.元数据扩展性挑战 1.1 元数据节点扩展性的挑战 HDFS NameNode是个集中式服务，部署在单个机器上，内存和磁盘

这是我参与「第四届青训营 」笔记创作活动的第13天 9.1 元数据高可用 1.高可用的需求 1.1服务高可用的需求 故障类型:硬件故障、软件故障、人为故障 灾难:数据中心级别不可用：机房断电、机房空调

这是我参与「第四届青训营 」笔记创作活动的第12天 8.3 关键设计 分布式存储系统基本概念 1）容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。 2）一致性模型：

这是我参与「第四届青训营 」笔记创作活动的第11天 8.1 HDFS 基本介绍 HDFS：hadoop distributed file system 1.Windows单机文件系统 2.Linux单

这是我参与「第四届青训营 」笔记创作活动的第10天 7.3 Presto重要机制 1.多租户资源管理 Case介绍 假设某个用户提交一个sql: 提交方式: Presto-cli 提交用户: zhan

这是我参与「第四届青训营 」笔记创作活动的第9天 7.1 概述 1.大数据与OLAP的演进 什么是大数据？大数据=大规模的数据量？ 关于大数据这里我们参考马丁希尔伯特的总结:大数据其实是在2000年后

这是我参与「第四届青训营 」笔记创作活动的第8天 6.3 Shuffle过程 Shuffle实现的发展历程 Spark 0.8及以前Hash Based Shuffle Spark 0.8.1为Has

这是我参与「第四届青训营 」笔记创作活动的第7天 6.4 push shuffle 1.为什么要push shuffle Avg l0 size太小，造成了大量的随机10，严重影响磁盘的吞吐 M *

这是我参与「第四届青训营 」笔记创作活动的第6天 6.1 shuffle概述 1.MapReduce概述 2004年谷歌发布了《MapReduce:Simplified Data Processing

这是我参与「第四届青训营 」笔记创作活动的第4天 4.1 概述 1.流式计算与批式计算的比较 数据价值：实时性越高，数据价值越高 实时性和精准性往往不能两全 2.批处理 批处理模型典型的数仓架构为T十

这是我参与「第四届青训营 」笔记创作活动的第2天 一、Flink概述 1.1 Apache Flink诞生背景： 1）什么是大数据：指无法在一定时间内用常规软件工具对其进行获取，存储，管理，处理的数据

这是我参与「第四届青训营 」笔记创作活动的第5天 5.1 大数据处理引擎Spark介绍 1.大数据处理技术栈 2.常见大数据处理链路 3.开源大数据处理引擎 4.什么是Spark? 官网： 5.Spa

这是我参与「第四届青训营 」笔记创作活动的第3天 3.1 数据流和动态表 1.随处可见的流式数据 2.传统SQL和流处理 3.概述——数据流和动态表的转换 数据流-动态表-连续查询-动态表-数据流（输