后端基础｜ 青训营笔记

lxz
90 阅读8分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 17 天

ClickHouse-列存储
数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS) 来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。
数据解析整理成有序集合，可以通过查询语言获取想要的信息
数据库的类型
关系数据库: 关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
非关系数据库: NOSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NOSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
单机数据库：在一台计算机上完成的数据的存储和查询的数据库系统
分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
OLTP 数据库: OLTP (Online transactional processing) 数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
OLAP 数据库: OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。

OLAP数据库： 大量数据的读写，PB级别的存储

image.png

多维分析，复杂的聚合函数

image.png

窗口函数，自定义UDF（User Define Function）
离线/实时分析
SQL：一种编程语言，目前几乎所有的关系数据库都使用SQL编程语言来查询、操作和定义数据，及进行数据访问控制。 image.png image.png image.png

定义数据模型

image.png 读写数据库数据

image.png

优点：
①标准化
②高度非过程化
③以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作
④语言简洁，易学易用
数据库架构 image.png

SQL的执行 Parser：词法分析，语法分析，生成AST树（Abstract syntax tree）

image.png

Analyzer：变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等，为生成计划做准备
例如：
①判断a,b是不是类型正确
②a,b是不是来自表t
③group ny字段是否合法，是否存在聚合函数

Optimizer：为查询生成性能最优的执行计划，进行代价评估

image.png

Executor：将执行计划翻译成可执行的物理计划并驱动其执行

image.png

存储引擎
1.管理内存数据结构
索引内存数据缓存:Query cacheData cache- Index cache
2.管理磁盘数据磁盘数据的文件格式磁盘数据的增删查改
3.读写算子数据写入逻辑数据读取逻辑

image.png

行式存储

image.png

列式存储 image.png 优点：
数据压缩
1.数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
2.相同类型压缩效率更高
3.排序之后压缩效率更高
4.可以针对不同类型使用不同的压缩算法

image.png

image.png

image.png

image.png

image.png 延迟物化：尽可能推迟物化操作的发生

image.png 无延迟物化

image.png 延迟物化之后

好处：
①缓存友好
②CPU/内存带宽友好
③可以利用到执行计划和算子的优化，例如filter
④保留直接在压缩列做计算的机会

向量化
SIMD（single instruction multiple data）对于现代多核CPU，其都有能力用一条指令执行多条数据

image.png

image.png

数据格式
需要处理多个数据，因此数据需要是连续内存
需要明确数据类型

image.png

执行模型
数据需要按批读取
函数的调用需要明确数据类型

列存数据库适合设计出这样的执行模型，从而使用向量化技术：
按列读取
每种列类型定义读取逻辑
函数按列类型处理

image.png

ClickHouse存储
表定义和结构

image.png

集群架构

image.png

引擎架构

image.png

存储架构

image.png

image.png


part是物理文件夹的名字 partition是逻辑结构
part和column：

  • 每个column都是一个文件
  • 所有的column文件都在自己的part文件夹下column和index
  • 一个part有一个主键索引
  • 每个column都有列索引
    索引设计
    Hash Index
  1. 将输入的key通过一个HashFunction映射到一组bucket上
  2. 每个bucket都包含一个指向一条记录的地址
  3. 哈希索引在查找的时候只适用于等值比较

image.png

B-Tree
1.数据写入是有序的，支持增删查改
2.每个节点由多个孩子节点
3.每个节点都按照升序排列key值
4.每个key都有两个指向左右孩子节点的引用（左小右大）

image.png

B+Tree
1.所有节点的数据都存储在叶子节点，非叶子节点只保存key值
2.叶子节点维护到相邻叶子节点的引用
3.可以通过key值做二分查找，也可以通过叶子节点做顺序访问

image.png

  • 对于大数据量，B(B+)-Tree深度太高
  • 索引数据量太大，多个列如何平衡查询和存储LSM-Tree
  • OLAP场景写入量非常大，如何优化写入 Log-structured merge-tree (LSM tree) 是一种为大吞吐写入场景而设计的数据结构
  • 着重优化顺序写入 主要数据结构
  1. SSTables

image.png

  1. Memtable
    在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘
    数据查询
    需要从最新的segment开始遍历每个key
    也可以为每个segment建一个索引，例如

image.png

image.png

主键索引 image.png

数据按照主键顺序依次做排序，首先按照UserID做排序，再按照URL排序，最后是EventTime接着数据被划分granules（1.granules是最小的数据读取单元 2.不同的granules可以并行读取） image.png

image.png

每个granule都对应primary.idx里面的一行
默认每8192行记录主键的一行值，primary.idx需要被全部加载到内存里面

image.png

image.png

image.png

查询优化

image.png secondary index：在URL列上构建二级索引
构建多个主键索引
再建一个表
1.数据需要同步两份
2.查询需要用户判断查哪张表 image.png

image.png


建一个物化视图
物化视图：可以通过select查询将一个表的数据写入一张隐式表
1.数据自动同步到隐式表
2.查询需要用户判断查哪张表

image.png

image.png

使用Projection
projection：类似于物化视图，但是不是将数据写入新的表，而是存储在原始表中，以一个列文件的形式存在
1.数据自动同步隐式表
2.查询自动路由到最优的表

image.png

image.png

小结:

  • 主键包含的数据顺序写入
  • 主键构造一个主键索引
  • 每个列构建一个稀疏索引
  • 通过mark的选择让主键索引可以定位到每一列的索引- 可以通过多种手段优化非主键列的索引 数据合并

image.png

数据可见性
1.数据合并过程中，未被合并的数据对查询可见
2.数据合并完成后，新part可见，被合并的part被标记删除

image.png

数据查询

image.png

1.通过主键找到需要读的mark

image.png

2.切分marks，然后并发的调度reader

image.png

image.png

应用场景
1.大宽表存储和查询
可以建非常多的列
可以增加，删除，清空每一列的数据
查询的时候引擎可以快速选择需要的列
可以将列涉及到的过滤条件下推到存储层从而加速查询

image.png

离线数据分析

  1. 数据导入
  • 数据可以通过spark生成clickhouse格式的文件
  • 导入到hdfs上由hive2ch导入工具完成数据导入
  • 数据直接导入到各个物理节点

image.png

2.数据按列导入 保证查询可以及时访问已有数据 可以按需加载需要的列

image.png

image.png

image.png

image.png

image.png 复杂类型查询：
1.bitmap索引（构建）

image.png 2.Bitmap64类型

image.png

image.png

image.png

image.png

3.lowcardinality
对于低基数列使用字典编码
减少数据存储和读写的IO使用
可以做运行时的压缩数据过滤
总结：
1.ClickHouse是标准的列存结构
2.存储设计是LSM-Tree架构
3.使用稀疏索引加速查询
4.每个列都有丰富的压缩算法和索引结构
5.基于列存设计的高效的数据处理逻辑

avatar
文章
阅读
粉丝