这是我参与「第四届青训营 」笔记创作活动的第21天
存储系统的分层
由上到下依次可分为：
- 计算层:各种计算引擎(Rows + Columns)
- 数据格式层:定义了存储层文件内部的组织格式，计算引擎通过格式层的支持来读写文件(Layout + Schema)
- 存储层:承载数据的持久化存储(File,Blocks)
行与列
OLTP：on-line transaction processing，联机事务处理
OLAP：On-Line Analytical Processing，为联机分析处理
OLTP对应了行存储格式，OLAP对应了列存储格式
OLTP
每行的数据在文件上是连续存储的，读取整行数据效率高，单次IO顺序读即可
典型系统：
- 关系型数据库:MySQL,Oracle ...
- Key-Value数据库
OLAP
每列的数据在文件上是连续存储的，读取整列的效率较高 同列的数据类型一致，压缩编码的效率更好
典型系统：
- 大数据分析系统:SQL-on-Hadoop，数据湖分析
- 数据仓库: ClickHouse,Greenplum，阿里云 MaxCompute
到这里我终于知道上一期数据湖，数据仓库与数据库的真正差别了，原来是底子就不一样
概述与总结
- 格式层定义了数据的布局，连接计算引擎和存储服务
- OLTP和OLAP场景话差异明显
- 业务场景决定了技术实现，行存适用于OLTP，列存适用于OLAP
Parquet
这是大数据分析领域使用最广泛的列存格式，同时也是spark推荐储存格式
Dremel 数据模型
- Protocol Buffer定义
- 支持可选和重复字段
- 支持嵌套类型
虽然我没有看懂Dremel数据模型，但是这三个特性看懂了
protocol buffer是谷歌公司开发出来的数据传输格式，他二进制的通讯时可以大大减轻网络io的负担，数据获取并转换后可读性也不输json，并且允许你定义服务(就是函数)进行rpc的交互模式，同时支持流式交互。
支持可选和重复字段，也就是允许一个数据体中里面存在两个key相同的字段名，比如
{
name: "123",
name:"321",
}
支持嵌套类型也就相当于允许在结构体里面套结构体。
数据布局
RowGroup:每一个行组包含一定数量或者固定大小的行的集合
ColumnChunk: RowGroup中按照列切分成多个ColumnChunk
Page: ColumnChunk内部继续切分成 Page，一般建议8KB大小。压缩和编码的基本单元
- 根据保存的数据类型分为:Data Page，Dictionary Page,Index Page
Footer保存文件的元信息
-
schema
-
Config
-
Metadata
- RowGroup Meta
- Column Meta
编码 Encoding
Plain直接存储原始数据
Run Length Encoding (RLE):适用于列基数不大，重复值较多的场景，例如: Boolean、枚举、固定的选项等
- Bit-Pack Encoding:配合 RLE编码使用，让整形数字存储的更加紧凑
字典编码Dictionary Encoding:适用于列基数不大的场景，构造字典表，写入到Dictionary Page;把数据用字典Index替换，然后用RLE编码
这玩意大致就是一种数据压缩的方式，比如最简单的计数压缩
aaaaaaaaaa -> a 10 ，最简单的稀疏数列压缩方式，上面那个就是这个的拓展款
压缩
Page 完成 Encoding以后，进行压缩支持多种压缩算法
snappy:压缩速度快，压缩比不高，适用于热数据
gzip:压缩速度慢，压缩比高，适用于冷数据
zstd:新引入的压缩算法，压缩比和gzip差不多，而且压缩速度比肩Snappy
建议选择snappy或者zstd，根据业务数据类型充分测试压缩效果，以及对查询性能的影响
