这是我参与「第四届青训营」笔记创作活动的第4天，学习内容为《Parquet 与 ORC：高性能列式存储》

课程介绍

• 理解列式存储的应用场景
• 理解Paequet与ORC的原理与区别
• 了解列式存储格式中常见的编码与压缩算法
• 学会在大数据分析中选择合适的列式格式，知道具体的调优方向

1. 什么是列式存储

传统的数据编码方式是以行为单位进行，列式存储则是将数据划分成数据块，每个数据块内部按列的方式进行编码存储，通过使用列式存储会有以下好处：

• 存储效率更高，因为同一列的数据类型一致，编码效率也会更高
• 查询效率更高，利用列式存储的统计信息，可以跳过大量的数据，减少IO压力

2. 列式存储和行式存储

数据格式层概述

• 计算层：各种计算引擎
• 存储层：承载数据持久化存储
• 数据格式层：定义了存储层内部的组织格式

OLTP（行存）

• 每一行 (Row) 的数据在文件的数据空间里连续存储的；
• 读取整行的效率比较高，一次顺序 IO 即可；
• 在典型的 OLTP 型的分析和存储系统中应用广泛，例如：MySQL、Oracle、RocksDB、key-Value数据库等

OLAP （列存）

• 每一列 (Column) 的数据在文件的数据空间里连续存放的
• 同列的数据类型一致，压缩编码的效率更好
• 在典型的 OLAP 型分析和存储系统中广泛应用，例如：
• 大数据分析系统：Hive、Spark，数据湖分析
• 数据仓库：ClickHouse，Greenplum，阿里云 MaxCompute

总结：

• 格式层定义了数据的布局，连接计算引擎和存储服务
• OLAP和OLTP场景差异明显

3. Parquet

大数据分析邻域使用最广的列式存储格式，Spark推荐存储格式

对比Parquet和ORC的对比

数据布局

• RowGroup: 每一个行组包含一定数量或者固定大小的行的集合，在 HDFS 上，RowGroup 大小建议配置成 HDFS Block大小
• ColumnChunk: RowGroup 中按照列切分成多个 ColumnChunk
• Page：ColumnChunk内部继续切分成 Page，一般建议 8KB 大小。Page 是压缩和编码的基本单元（根据保存的数据类型，Page 可以分为：Data Page，Dictionary Page，Index Page）
• Footer 保存文件的元信息

编码

• Plain 直接存储原始数据
• Run Length Encoding:适合列基数不大，重复值较多的场景
• 字典编码：适合列基数不大，构造字典，写到Dictionary Page;把数据用字典Index替换，然后RLE编码

压缩

• Page完成Encoding以后，进行压缩
• 支持多种压缩算法
• snappy：压缩速度快，压缩比不高，适合热数据
• gzip：压缩速度慢，压缩比高，适合冷数据
• zstd:新引入的压缩算法，压缩比跟gzip差不多，压缩速度比肩snappy
• 建议选择snappy或者zstd，根据业务数据类型充分测试压缩效果，以及对查询性能的影响

索引

• 与传统数据库相比，对索引支持非常简陋
• Min-Max Index：记录Page内部Column的min_value和max_value
• Column Index：
• Footer里面的Column Metadata包含ColoumnChunk的全部Page的Min-Max Value
• Offset Index:记录Page在文件中的Offset和Page的RowRange