夏末秋至sll

这是我参与「第四届青训营 」笔记创作活动的第14天 9.3 元数据高扩展性 1.元数据扩展性挑战 1.1 元数据节点扩展性的挑战 HDFS NameNode是个集中式服务，部署在单个机器上，内存和磁盘

这是我参与「第四届青训营 」笔记创作活动的第13天 9.1 元数据高可用 1.高可用的需求 1.1服务高可用的需求 故障类型:硬件故障、软件故障、人为故障 灾难:数据中心级别不可用：机房断电、机房空调

这是我参与「第四届青训营 」笔记创作活动的第12天 8.3 关键设计 分布式存储系统基本概念 1）容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。 2）一致性模型：

这是我参与「第四届青训营 」笔记创作活动的第11天 8.1 HDFS 基本介绍 HDFS：hadoop distributed file system 1.Windows单机文件系统 2.Linux单

这是我参与「第四届青训营 」笔记创作活动的第10天 7.3 Presto重要机制 1.多租户资源管理 Case介绍 假设某个用户提交一个sql: 提交方式: Presto-cli 提交用户: zhan

这是我参与「第四届青训营 」笔记创作活动的第9天 7.1 概述 1.大数据与OLAP的演进 什么是大数据？大数据=大规模的数据量？ 关于大数据这里我们参考马丁希尔伯特的总结:大数据其实是在2000年后

这是我参与「第四届青训营 」笔记创作活动的第8天 6.3 Shuffle过程 Shuffle实现的发展历程 Spark 0.8及以前Hash Based Shuffle Spark 0.8.1为Has

这是我参与「第四届青训营 」笔记创作活动的第7天 6.4 push shuffle 1.为什么要push shuffle Avg l0 size太小，造成了大量的随机10，严重影响磁盘的吞吐 M *

这是我参与「第四届青训营 」笔记创作活动的第6天 6.1 shuffle概述 1.MapReduce概述 2004年谷歌发布了《MapReduce:Simplified Data Processing