ClickHouse ｜ 青训营笔记

aKun
328 阅读11分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

ClickHouse-你没见过的列存储

01.数据库基本概念

数据库是结构化信息或数据的有序集合，。一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中，数据、DBMS 及关联应用一起被称为数据库系统,通常简称为数据库。

一个简单的例子

数据解析整理成有序集合

image.png

可以通过查询语言获取想要的信息

image.png

数据库的类型

  • 关系数据库∶关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
  • 非关系数据库:NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
  • 单机数据库:在一台计算机上完成数据的存储和查询的数据库系统。
  • 分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
  • OLTP 数据库:OLTP (Online transactional processing)数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
  • OLAP数据库:OLAP(Online analytical processing)数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系

OLAP 数据库

  • 大量数据的读写，PB级别的存储
  • 多维分析，复杂的聚合函数
  • 窗口函数，自定义UDF(User DefineFucntion)
  • 离线/实时分析

image.png

image.png

SQL

一种编程语言，目前几乎所有的关系数据库都使用SQL (Structured Query Language)编程语言来查询、操作和定义数据，进行数据访问控制。

  • 一个简单的SQL查询包含SELECT关键词。星号("*")也可以用来指定查询应当返回查询表所有字段,可选的关键词和子句。

  • FROM子句指定了选择的数据表。FROM子句也可以包含JOIN二层子句来为数据表的连接设置规则。

  • WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。

  • GROUP BY子句用于将若干含有相同值的行合并。GROUP BY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUP BY子句要用在WHERE手可之o

image.png

  • 定义数据模型
  • 读写数据库数据

image.png

image.png

SQl的优点

  1. 标准化，ISO和ANSI是长期建立使用的SQL数据库标准

  2. 高度非过程化，用SQL进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。

  3. 以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作作为嵌入式语言，SQL 语句能够嵌入到高级语言(如C、 C#、JAVA) 程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL 的语法结构基本上是-致的。

  4. 语言简洁，易学易用: SQL 功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词: CREATE、 ALTER、 DROP、SEL ECT、INSERT、UPDATE、DEL ETE、GRANT、REVOKE。且SQL 语言语法简单，接近英语口语，因此容易学习，也容易使用。

数据库架构

image.png

SQL的执行

image.png Parser:词法分析，语法分析，生成AST树(Abstract syntax tree)

Analyzer:变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等，为生成计划做准备

例如:

  • 判断a, b是不是类型正确
  • a, b是不是来自表t
  • group by字段是否合法，是否存在聚合函数

image.png Optimizer:为查询生成性能最优的执行计划，进行代价评估

image.png Executor:将执行计划翻译成可执行的物理计划并驱动其执行

存储引擎

  1. 管理内存数据结构
  • 索引
  • 内存数据缓存
  • -Query cache
  • -Data cache
  • -lndex cache
  1. 管理磁盘数据
  • 磁盘数据的文件格式
  • 磁盘数据的增删查改
  1. 读写算子
  • 数据写入逻辑
  • 数据读取逻辑

image.png

问题 如何存储数据？

  • 是否可以并发处理
  • 是否可以构建索引
  • 行存、列存或者行列混合存储 如何读写数据？
  • 读多读少
  • 读少写多
  • 点查场景
  • 分析型场景

02.列式存储

image.png行式存储

image.png 列式存储

列式存储的优点

数据压缩

  • 数据压缩可以使读的数据量更少，在lO密集型计算中获得更大的性能优势
  • 相同类型压缩效率更高
  • 排序之后压缩效率更高
  • 可以针对不同类型使用不同的压缩算法

几个压缩算法示例

image.png LZ4

  • (5.4)代表向前5个byte，匹配到的内容长度有4、即"bcde"是一个重复
  • 重复项越多或者越长,压缩率就会越高

image.png

Run-length encoding

  • 压缩重复的数据
  • 可以再压缩数据上直接计算

image.png

Delta encoding：

  • 将数据存储为连续数据之间的差异，而不是直接存储数据本身
  • 特定算子也能直接在压缩数据上计算

image.png

数据选择

  • 可以选择特定的列做计算而不是读所有列
  • 对聚合计算友好

image.png

延迟物化： 物化：将列数据转换为可以被计算或输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join

image.png 延迟物化：尽可能推迟物化操作的发生

image.png

延时物化：

  • 缓存友好
  • CPU/内存带宽友好
  • 可以利用到执行计划和算子的优化，例如filter
  • 保留直接在压缩列做计算的机会

向量化

  • SIMD
  • 数据格式
  • 执行模型

SIMD （single instruction multiple data）,对于现代多核CPU，其都有能力用一条指令执行多条数据

image.png

SIMD程序使用的指令集有SSE和AVX系列，AVX有AVX-256和AVX-512，SSE提供128- bits的寄存器，AV×-256提供256-bits，AVX-512提供512bits的寄存器

image.png

image.png image.png

如果这时候CPU也可以并行的计算我们写的代码，那么理论上我们的处理速度就会是之前代码的100倍，SIMD指令就可以完成这样的工作，用SIMD指令完成的代码设计和执行的逻辑就叫做向量化

数据格式要求：

  • 需要处理多个数据，因此数据需要连续内存
  • 需要明确数据类型

列存数据库适合设计出这样的执行模型从而使用向量化技术:

  • 按列读取
  • 每种列类型定义数据读写逻辑
  • 函数按列类型处理

image.png

行存 VS 列存

image.png

03.ClickHouse 存储设计

表定义和结构

image.png

集群架构

image.png

引擎架构

image.png

存储架构

image.png

image.png

image.png

image.png

索引设计

Hash Index

  1. 将输入的key通过一个HashFunction映射到一组bucket上
  2. 每个bucket都包含一个指向一条记录的地址
  3. 哈希索引在查找的时候只适用于等值比较

image.png

image.png image.png

image.png

ClickHouse为什么不用上述索引呢？

image.png

LSM tree

Log-structured merge-tree (LSM tree)是一种为大吞吐写入场景而设计的数据结构

  • 着重优化顺序写入
  • 主要数据结构
  1. SSTables
  2. Memtable

SSTables

  1. Key按顺序存储到文件中，称为segment
  2. 包含多个segment
  3. 每个segment写入磁盘后都是不可更改的，新加的数据只能生成新的segment

image.png

Memtabel

  • 在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree
  • 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘

数据查询

  • 需要从最新的segment开始遍历每个key
  • 也可以为每个segment键一个索引，例如

image.png

Compaction（合并）

  • Compaction指将多个segments合并成一个segments的过程
  • 一般是有一个后台线程完成
  • 不同的segments写入新的segment的时候也是需要排序，形成新的segment之后，旧的segment文件就会被删除

image.png

索引实现

image.png

image.png

image.png

image.png 每个granule都对应primary.idx里面的一行

image.png

image.png

image.png

mark文件里面的每一行保存两个地址:

  1. block_offset:用于定位一个granule的压缩数据在物理文件中的位置，压缩数据会以一个block为单位解压到内存中。
  2. granule_offset，用于定位一个granule在解压之后的block中的位置。

缺陷： image.png

查询优化

image.png

构建多个主键索引

  • 再建一个表，使用需要优化的字段做主键第―位
  • 建一个物化视图
  • 使用Projection

再建一个表

  1. 数据需要同步两份
  2. 查询需要用户判断查哪张表 image.png

image.png

--

构建一个物化视图
物化视图：可以通过select查询将一个表的数据写入一张隐式表

  1. 数据自动化同步到隐式表
  2. 查询需要用户判断查哪张表 image.png

image.png

使用Projection

projection:类似于物化试图，但是不是将数据写入新的表，而是存储在原始表中，以一个列文件的形式存在。

  1. 数据自动同步到隐式表
  2. 查询自动路由到最优的表

image.png

image.png

小结

  • 主键包含的数据顺序写入
  • 主键构造一个主键索引
  • 每个列构建一个稀疏索引
  • 通过mark的选择让主键索引可以定位到每一列的索引
  • 可以通过多种手段优化非主键列的索引

数据合并

image.png

数据的可见性

  1. 数据合并过程中，未被合并的数据对查询可见
  2. 数据合并完成后，新part可见，被合并的part被标记删除

image.png

数据查询

image.png

  1. 通过主键找到需要读的mark

image.png

  1. 切分marks，然后并发的调度reader

image.png

  1. Reader 通过mark block_offset得到需要读的数据文件的偏移量
  2. Reader通过markgranule_offset得到解压之后数据的偏移量

image.png

  1. 构建列式filter做数据过滤

04.ClickHouse应用场景

典型应用场景

大宽表存储和查询：

  1. 大宽表查询：
  • — 可以建非常多的列
  • — 可以增加，删除，清空每一列的数据
  • — 查询的时候引擎可以快速选择需要的列
  • — 可以将列涉及到的过滤条件下推到存储层从而加速查询

image.png

  1. 动态表结构：
  • — map中的每个key都是一列
  • — map中的每一列都可以单独的查询
  • — 使用方式同普通列，可以做任何计算

image.png

image.png

离线数据分析

  1. 数据导入
  • — 数据可以通过spark生成clickhouse格式的文件
  • — 导入到hdfs上有hive2ch导入工具完成数据导入
  • — 数据直接导入到各个物理节点

image.png 2. 数据按列导入

  • — 保证查询可以及时访问已有数据
  • — 可以按需加载需要的列

image.png

实时数据分析

image.png

使用memory table减少parts数量

  1. 数据先缓存在内存中
  2. 到达一定阈值再写到磁盘

image.png

image.png 复杂类型查询：1.bitmap索引 （构建） image.png 复杂类型查询：1.bitmap索引 （查询）

复杂类型查询：2.Bitmap64类型

image.png

复杂类型查询：3.lowcardinality

  • 对于低基数列使用字典编码
  • 减少数据存储和读写的IO使用
  • 可以做运行时的压缩数据过滤 image.png image.png image.png image.png

总结

  1. ClickHouse是标准的列存结构
  2. 存储设计是LSM-Tree架构
  3. 使用稀疏索引加速查询
  4. 每个列都有丰富的压缩算法和索引结构5.基于列存设计的高效的数据处理逻辑
avatar
文章
阅读
粉丝