【青训营笔记】- 「Redis - 大厂程序员是怎么用的」

用户3869424693356
96 阅读9分钟

这是我参与「第五届青训营 」笔记创作活动的第17天。

前言

clickhouse是俄罗斯开源的一款查询引擎，一七一八字节开始自研数据库，是分析型数据库中的一匹黑马。介绍Clickhouse的存储设计。

一、数据库基本概念

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS) 来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库

1.1 数据库的类型

  • 关系数据库: 关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
  • 非关系数据库: NSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
  • 单机数据库: 在一台计算机上完成数据的存储和查询的数据库系统
  • 分布式数据库: 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上
  • OLTP 数据库: OLTP (Online transactional processing) 数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
  • OLAP 数据库: OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系.

1.2 OLAP数据库

  • 大量数据的读写，PB级别的存储
  • 多维分析，复杂的聚合函数
  • 窗口函数，自定义UDF(User DefineFucntion)
  • 离线/实时分析

1.3 SQL

一种编程语言，目前几乎所有的关系数据库都使用 SQL(Structured Query Language)编程语言来查询、操作和定义数据，进行数据访问控制。

一个简单的SQL查询包含:

  • SELECT关键词。星号 ("*"也可以用来指定查询应当返回查询表所有字段，可选的关键词和子句。
  • FROM子句指定了选择的数据表。FROM子句也可以包含JOIN 二层子句来为数据表的连接设置规则。
  • WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。
  • GROUP BY子句用于将若干含有相同值的行合并。GROUP BY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUP BY子句要用在WHERE子句之后。

image.png

SQL的优点：

  1. 标准化，ISO和ANSI是长期建立使用的SQL数据库标准
  2. 高度非过程化，用SQL进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性
  3. 以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL语句能够嵌入到高级语言 (如C、C#、JAVA) 程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL的语法结构基本上是一致的。
  4. 语言简洁，易学易用: SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词: CREATE、ALTER、DROP、SELECT、INSERT.UPDATE、DELETE、GRANT、REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习也容易使用

数据库架构

image.png

1.4 SQL的执行

  1. Parser：语法分析、语法分析、生成AST树

image.png 2. Analyzer：变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等，为生成计划做准备.如： - 判断a,b是不是类型正确 - a,b是不是来自表tgroup by - 字段是否合法，是否存在聚合函数 3. Optimizer:为查询生成性能最优的执行计划，进行代价评估 image.png

  1. Executor: 将执行计划翻译成可执行的物理计划并驱动其执行 image.png

1.5 存储引擎需要完成

1.管理内存数据结构

  • 索引
  • 内存数据
  • 缓存
    • Query cache
    • Data cache
    • Index cache 2.管理磁盘数据
  • 磁盘数据的文件格式
  • 磁盘数据的增删查改 3.读写算子
  • 数据写入逻辑
  • 数据读取逻辑

1.6 设计需要注意的问题

如何存储数据：

  • 是否可以并发处理
  • 是否可以构建索引
  • 行存，列存或者行列混合存储

如何读写数据?

  • 读多写少
  • 读少写多
  • 点查场景
  • 分析型场景

二、列式存储

行式存储与列式存储

  • 行式存储 image.png
  • 列式存储

image.png

  • 行存VS列存

image.png

2.1 列式存储的优点

压缩算法

  • LZ4：重复项越多或者越长，压缩率就会越高
  • length encoding:
    • 压缩重复的数据
    • 可以在压缩数据上直接计算
  • Delta encoding：将数据存储为连续数据之间的差异，而不是直接存储数据本身
    • 特定算子也能直接在压缩数据上计算

2.1.1 数据选择

  • 可以选择特定的列做计算而不是读所有列
  • 对聚合计算友好

2.1.2延迟物化

  • 物化：将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join
  • 缓存友好
  • CPU / 内存带宽友好
  • 可以利用到执行计划和算子的优化，例如filter保留直接在压缩列做计算的机会

2.1.3 向量化

SIMD (single instruction multiple data) ，对于现代多核CPU，其都有能力用一条指令执行多条数据。

  • 数据格式要求
    • 需要处理多个数据，因此数据需要是连续内存
    • 需要明确数据类型
  • 执行模型要求:
    • 数据需要按批读取
    • 函数的调用需要明确数据类型

三、ClickHouse存储设计

3.1 表定义和结构

image.png

3.2 集群架构

image.png

3.3 引擎架构

image.png

3.4 存储架构

  • part和column
    • 每个column都是一个文件- 所有的column文件都在自己的part文件夹下
  • column和index
    • 一个part有一个主键索引- 每个column都有列索引

image.png

3.5 索引设计

3.5.1Hash Index

  1. 将输入的key通过一个HashFunction映射到一组bucket上
  2. 每个bucket都包含一个指向一条记录的地址
  3. 哈希索引在查找的时候只适用于等值比较

image.png

3.5.2 B-Tree

  1. 数据写入是有序的，支持增删查改
  2. 每个节点有多个孩子节点
  3. 每个节点都按照升序排列key值
  4. 每个key有两个指向左右孩子节点的引用
    • 左孩子节点保存的key都小于当前key
    • 右孩子节点的保存的key都大于当前key

image.png

3.5.3 B+Tee

  1. 所有的数据都存储在叶子节点，非叶子节点只保存key值
  2. 叶子节点维护到相邻叶子节点的引用
  3. 可以通过key值做二分查找，也可以通过叶子节点做顺序访问

image.png

  • 对于大数据量，B(B+)-Tree深度太高
  • 索引数据量太大，多个列如何平衡查询和存储
  • OLAP场景写入量非常大，如何优化写入

3.6 列式存储的索引选择 LSM tree

Log-structured merge-tree (LSM tree) 是一种为大吞吐写入场景而设计的数据结构，着重优化顺序写入

3.6.1主要数据结构

  1. SSTables
  • Key按顺序存储到文件中，称为segment
  • 包含多个segment
  • 每个segment写入磁盘后都是不可更改的，新加的数据只能生成新的segment

image.png 2. Memtable

  • 在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree
  • 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘

3.6.2 数据查询

  • 需要从最新的segment开始遍历每个key
  • 也可以为每个segment建一个索引，例如

image.png

3.6.3 Compaction合并

  • Compaction指将多个segments合并成一个segments的过程
  • 一般是有一个后台线程完成
  • 不同的segments写入新的segment的时候也是需要排序，形成新的segment之后，旧的segment文件就会被删除

image.png

四、ClickHouse 典型应用场景

4.1 大宽表存储和查询

1.大宽表查询

  • 可以建非常多的列
  • 可以增加，删除，清空每一列的数据
  • 查询的时候引擎可以快速选择需要的列
  • 可以将列涉及到的过滤条件下推到存储层从而加速查询
  1. 动态表结构
  • map中的每个key都是一列
  • map中的每一列都可以单独的查询
  • 使用方式同普通列，可以做任何计算

4.2 离在线数据分析

  1. 数据导入
  • 数据可以通过spark生成clickhouse格式的文件
  • 导入到hdfs上由hive2ch导入工具完成数据导入
  • 数据直接导入到各个物理节点

image.png

  1. 数据按列导入
  • 保证查询可以及时访问已有数据
  • 可以按需加载需要的列

image.png

  1. 实时数据分析

image.png

4.3 复杂类型查询

  1. bitmap索引 (构建)

image.png

image.png 2. Bitmap64类型

image.png

  1. lowcardinality
  • 对于低基数列使用字典编码
  • 减少数据存储和读写的IO使用
  • 可以做运行时的压缩数据过滤

image.png

总结

  1. ClickHouse是标准的列存结构
  2. 存储设计是LSM-Tree架构
  3. 使用稀疏索引加速查询
  4. 每个列都有丰富的压缩算法和索引结构
  5. 基于列存设计的高效的数据处理逻辑
avatar
文章
阅读
粉丝