这是我参与「第四届青训营 」笔记创作活动的第12天
列式存储和行式存储
数据格式层概述
- 计算层：各种计算引擎
- 存储层：承载数据持久化存储
- 数据格式层：定义了存储层内部的组织格式
OLTP VS OLAP
OLTP(行存）
- 每一行 (Row) 的数据在文件的数据空间里连续存储的；
- 读取整行的效率比较高，一次顺序 IO 即可；
- 在典型的 OLTP 型的分析和存储系统中应用广泛，例如：MySQL、Oracle、RocksDB、key-Value数据库等
OLAP(列存）
- 每一列 (Column) 的数据在文件的数据空间里连续存放的
- 同列的数据类型一致，压缩编码的效率更好
- 在典型的 OLAP 型分析和存储系统中广泛应用，例如：
- 大数据分析系统：Hive、Spark，数据湖分析
- 数据仓库：ClickHouse，Greenplum，阿里云 MaxCompute
总结
- 格式层定义了数据的布局，连接计算引擎和存储服务
- OLAP和OLTP场景差异明显
Parquet原理详解
大数据分析邻域使用最广的列式存储格式，Spark推荐存储格式
数据布局
- RowGroup: 每一个行组包含一定数量或者固定大小的行的集合，在 HDFS 上，RowGroup 大小建议配置成 HDFS Block大小
- ColumnChunk: RowGroup 中按照列切分成多个 ColumnChunk
- Page：ColumnChunk内部继续切分成 Page，一般建议 8KB 大小。Page 是压缩和编码的基本单元（根据保存的数据类型，Page 可以分为：Data Page，Dictionary Page，Index Page）
- Footer 保存文件的元信息
编码
- Plain 直接存储原始数据
- Run Length Encoding:适合列基数不大，重复值较多的场景
- 字典编码：适合列基数不大，构造字典，写到Dictionary Page;把数据用字典Index替换，然后RLE编码
压缩
- Page完成Encoding以后，进行压缩
- 支持多种压缩算法
- snappy：压缩速度快，压缩比不高，适合热数据
- gzip：压缩速度慢，压缩比高，适合冷数据
- zstd:新引入的压缩算法，压缩比跟gzip差不多，压缩速度比肩snappy
- 建议选择snappy或者zstd，根据业务数据类型充分测试压缩效果，以及对查询性能的影响
索引
- 与传统数据库相比，对索引支持非常简陋
- Min-Max Index：记录Page内部Column的min_value和max_value
- Column Index：
- Footer里面的Column Metadata包含ColoumnChunk的全部Page的Min-Max Value
- Offset Index:记录Page在文件中的Offset和Page的RowRange
