羽祀玄天夜微凉

今天的学习内容是Parquet 与 ORC：高性能列式存储，包括Parquet简介和Parquet文件结构、ORC简介和文件结构。

今天的学习内容是数据湖三剑客：Delta Lake、Hudi 与 Iceberg ，数据湖三阶段：Hadoop、Hive、湖仓一体，还有三大数据湖的工作重点、核心技术等内容。

今天的学习内容是HDFS原理与应用 ，大致包括HDFS基本介绍，架构原理介绍和Hadoop关键设计等。

今天的学习内容是Presto 架构原理与优化介绍 ，内容包括大数据与OALP系统的演进、Presto的基础原理和概念、Presto的重要机制等。

今天的内容是Presto 架构原理与优化介绍课前学习。主要包括大数据与OLAP基础概念介绍、Presto关于服务、数据源、Query、数据传输部分的基础概念。

本文主要是关于大数据 Shuffle 原理与实践，内容涉及Shuffle的概述、算子、过程以及优化Push shuffle。

本文主要内容是Spark介绍、Spark运行架构和工作原理、SparkSQL执行链路。重点学习核心模块calalyst优化器以及SparkSQL三大重点特性以及业界挑战与实践

1.实时计算和批式计算的本质区别，以及实时计算所带来的新的机遇和挑战 2.实时计算中的核心功能：Watermark机制，Window机制 3.3大基本窗口类型的定义、使用一级核心原理

这是我参与「第四届青训营 」笔记创作活动的的第四天 ，本期主要是大数据处理引擎Spark、SpqrkCore、SparkSQL的介绍