Siri33

本次笔记重点内容 列式存储和行式存储 Parquet 列存格式的原理 ORC 列存格式的原理以及和Parquet 的对比 列存格式的演进 数据格式层 计算层：各种计算引擎，Rows+Columns 存

本次笔记重点内容 消息队列概述 Kafka 详解 Pulsar 详解 周边和生态 消息队列概述 应用场景 MQ消息通道 实现了上下游解耦，下游不用关注上游变化；下游出现故障时，消息可以缓存在此；上游不

本次笔记重点内容 发展历史——数据湖三阶段 核心技术 不同的湖仓一体各有所长 应用 发展历史 数据湖最开始的概念——Hadoop,HDFS 同一公司/组织可以使用共享存储，数据访问方便，灵活性高。但是

本次笔记重点内容 介绍 HBase 的适用场景和数据模型 分析 HBase 的整体架构和模块设计 针对大数据场景 HBase 的解决方案 分享 HBase 大规模实战的最佳实践 HBase数据模型 H

本次笔记重点内容 HDFS 元数据服务的高可用 HDFS 数据存储高可用 HDFS 元数据服务的高扩展性 HDFS 数据存储的高扩展性 一个“可以用”和“好用”的系统，重点就在“高可用”和“高扩展性”

本次笔记重点内容 HDFS 架构 HDFS 设计与异常处理 HDFS——Hadoop Distributed File System HDFS是一个分布式的文件系统，可以自动处理、规避多种错误场景；数

本次笔记重点内容 介绍 OLAP 的演进之路、Presto 的设计理念 介绍 Presto 的基础概念与原理 对 Presto 的特色和重要机制进行讲解和剖析 介绍 Presto 常用的优化工具以及在

本次笔记重点内容 shuffle概述 spark中的shuffle算子 spark中的shuffle过程 push shuffle社区的实现方案以及字节自己的实现方案 Shuffle操作 在spark

SparkCore原理解析 RDD 它是一个能容错的、能并行执行的分布式数据集，是Spark中的基本单元。它有多个分区，运行在不同节点上；每个RDD都有一个计算函数；RDD之间互相依赖，若一个数据丢失