Parquet 和 ORC：高性能列式存储笔记（一）| 青训营笔记

LimeRanceLan
249 阅读5分钟

Parquet 和 ORC：高性能列式存储笔记（一）| 青训营笔记

这是我参与「第四届青训营 -大数据场」笔记创作活动的第17天

一、行存 vs 列存

1. 数据格式层概述

  • 计算层：各种计算引擎
  • 存储层：承载数据的持久化存储
  • 数据格式层：定义了存储层文件内部的组织格式，计算引擎通过格式层的支持来读写文件

image.png

2. 分层视角下的数据形态

  • 存储层：File，Blocks
  • 格式层：File内部的数据布局（Layout+Schema)
  • 计算引擎：Rows+Columns

image.png

3. OLTP vs OLAP

  • OLTP 和 OLAP 作为数据查询和分析领域两个典型的系统类型，具有不同的业务特征，适配不同的业务场景
  • 理解两者的区别可以帮助更好的理解行存和列存的设计背景

image.png

4. OLTP：行式存储格式（行存）

  • 每一行 (Row) 的数据在文件的数据空间里连续存放的
  • 读取整行的效率比较高，一次顺序 IO 即可
  • 在典型的 OLTP 型的分析和存储系统中应用广泛，例如：MySQL、Oracle、RocksDB 等

image.png

5. OLAP：列式存储格式（列存）

  • 每一列 (Column) 的数据在文件的数据空间里连续存放的

  • 读取整列的效率较高

  • 同列的数据类型一致，压缩编码的效率更好

  • 在典型的 OLAP 型分析和存储系统中广泛应用，例如：

    • 大数据分析系统：Hive、Spark，数据湖分析
    • 数据仓库：ClickHouse，Greenplum，阿里云 MaxCompute

image.png

6. 总结

  • 格式层定义了数据的布局，连接计算引擎和存储服务
  • OLTP和OLAP 场景话差异明显
  • 业务场景决定了技术实现，行存适用于OLTP，列存适用于OLAP

二、Parquet 原理详解

1. Parquet 简介

2. Dremel 数据模型

  • Protocol Buffer 定义
  • 支持可选和重复字段
  • 支持嵌套类型

image.png

2.1 Continued

image.png

  • 嵌套类型只保存叶子节点数据

image.png

3. 数据布局

  • RowGroup: 每一个行组包含一定数量或者固定大小的行的集合，在 HDFS 上，RowGroup 大小建议配置成 HDFS Block 大小

  • ColumnChunk: RowGroup 中按照列切分成多个 ColumnChunk

  • Page：ColumnChunk内部继续切分成 Page，一般建议 8KB 大小。Page 是压缩和编码的基本单元

    • 根据保存的数据类型，Page 可以分为：Data Page，Dictionary Page，Index Page

  • Footer 保存文件的元信息

    • Schema

    • Config

    • Metadata

      • RowGroup Meta

        • Column Meta

image.png

4. 编码 Encoding

  • Plain直接存储原始数据

  • Run Length Encoding(RLE)：适用于列基数不大，重复值较多的场景，例如：Boolean、枚举、固定的选项等

    • Bit-Pack Encoding：配合 RLE编码使用，让整形数字存储的更加紧凑

  • 字典编码Dictionary Encoding：适用于列基数不大的场景，构造字典表，写入到Dictionary Page；把数据用字典Index替换，然后用RLE编码

image.png

5. 压缩 Compression

  • Page完成Encoding以后，进行压缩支持多种压缩算法
  • snappy：压缩速度快，压缩比不高，适用于热数据
  • gzip：压缩速度慢，压缩比高，适用于冷数据
  • zstd：新引入的压缩算法，压缩比和gzip差不多，而且压缩速度比肩Snappy
  • 建议选择snappy或者zstd，根据业务数据类型充分测试压缩效果，以及对查询性能的影响

image.png

6. 索引 Index

和传统的数据库相比，索引支持非常简陋

  • Min-Max Index：

    • 记录Page内部Column 的min_value和max_value

  • Column Index：

    • Footer里的Column Metadata包含ColumnChunk的全部 Page 的Min-Max Value

  • Offset Index：

    • 记录Page在文件中的Offset和Page 的 Row Range
6.1 Bloom Filter
  • parquet.bloom.filter.enabled
  • 对于列基数比较大的场景，或者非排序列的过滤，Min-Max Index很难发挥作用
  • 引入Bloom Filter 加速过滤匹配判定
  • 每个ColumnChunk的头部保存Bloom Filter数据
  • Footer 记录 Bloom Filter 的 page offset
6.2 排序 Ordering

  • 类似于聚集索引的概念

  • 排序帮助更好的过滤掉无关的 RowGroup 或者 Page

    • 对于少量数据 Seek 很有帮助

  • Parquet Format 支持 SortingColumns

  • Parquet Library 目前没有支持

  • 依赖业务侧根据查询特征去保证顺序

7. 过滤下推 Predicate PushDown

  • parquet-mr 库实现，实现高效的过滤机制
  • 引擎侧传入 Filter Expression
  • parquet-mr 转换成具体 Column 的条件匹配
  • 查询 Footer 里的 Column Index，定位到具体的行号
  • 返回有效的数据给引擎侧

  • 优点：

    • 在格式层过滤掉大多数不相关的数据
    • 减少真实的读取数据量

image.png

8. Spark集成 - 向量化读

  • ParquetFileFormat类

  • 向量化读开关：

    spark.sql.parquet.enableVectorizedReader

  • 向量化读是主流大数据分析引擎的标准实践，可以极大的提升查询性能

  • Spark以Batch的方式从Parquet读取数据，下推的逻辑也会适配 Batch的方式

image.png

9. 深入 Dremel 数据模型

9.1 Repetition Level
  • Repetition Level：该字段在Field Path 上第几个重复字段上出现
  • 0：标识新的Record
  • Name.Language.Code为例，Name 是第1个重复字段，Language 是第2个重复字段
9.2 Definition Level
  • Definition Level：用来记录在field path中，有多少个字段是可以不存在（optional/repeated）而实际际出现的
  • Name.Language.Code为例，Name 和 Language 都是可以不存在的
  • 第一个NULL字段，D是1，说明 Name 是存在的，但是 Language 是不存在的，保留原有的信息
9.3 Re - Assembly
  • 根据全部或者部分列数据，重新构造 Record
  • 构造 FSM 状态机
  • 根据同一个Column下一个记录的 RepetionLevel 决定继续读的列

10. Parquet 小结

  • 数据模型：基于Dremel
  • 文件布局：Footer + RowGroup + ColumnChunk + Page
  • Encoding：Page粒度，Plain/RLE/Dictionary
  • Compression：Snappy / Gzip / Zstd
  • Index：Column Index (Min-Max Index)
  • Predicate PushDown
avatar
文章
阅读
粉丝