18.ClickHouse-列存储 | 青训营笔记

冲之
89 阅读9分钟

这是我参与「第五届青训营」笔记创作活动的第18天

一、本堂课重点内容

  1. 数据库基本概念
  2. 列式存储
  3. ClickHouse存储设计
  4. ClickHouse典型应用场景

二、详细知识点介绍

数据库基本概念

数据库是什么

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统 (DBMS) 来控制。在现实中，数据、DBMS 及关联应用一起被称为数据库系统，通常简称为数据库。

一个简单的例子

  1. 数据解析整理成有序集合
  2. 数据的写入和读取，可以通过查询语言获取想要的信息

数据库的类型

  1. 数据库有很多种，至于各种数据库孰优孰劣，主要取决于企业希望如何使用数据。
  2. 关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
  3. 非关系数据库 ： NoSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。NoSQL的关键是它们放弃了传统关系型数据库的强事务保证和关系模型，通过所谓最终一致性和非关系数据模型（例如键值对，图，文档）来提高Web应用所注重的高可用性和可扩展性。
  4. 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
  5. 分布式数据库 ： 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
  6. OLTP 数据库 ： OLTP（Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
  7. OLAP 数据库：OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系

OLAP数据库

  1. 大量数据的读写，PB级别的存储
  2. 多维分析，复杂的聚合函数
  3. 离线/实时分析，对查询速度有要求

SQL

  1. 一种编程语言，目前几乎所有的关系数据库都使用 SQL (Structured Query Language ) 编程语言来查询、操作和定义数据，进行数据访问控制。
  2. SQL的结构 查询包含一系列含有最终结果的字段, 紧跟SELECT关键词。星号（"*"）也可以用来指定查询应当返回查询表所有字段，可选的关键词和子句包括：
  • FROM子句指定了选择的数据表。FROM子句也可以包含JOIN 二层子句来为数据表的连接设置规则。
  • WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。
  • GROUP BY子句用于将若干含有相同值的行合并。 GROUP BY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUP BY子句要用在WHERE子句之后。
  • HAVING子句后接一个谓词来过滤从GROUP BY子句中获得的结果，由于其作用于GROUP BY子句之上，所以聚合函数也可以放到其谓词中。
  • ORDER BY子句指明将哪个字段用作排序关键字，以及排序顺序(升序/降序)，如果无此子句，那么返回结果的顺序不能保证有序。
  1. SQL的用途 a. 定义数据模型
CREATE TABLE default.test_insert_local
(
   `p_date` Date,
   `id` Int32
)
ENGINE = MergeTree
PARTITION BY p_date
ORDER BY id
SETTINGS index_granularity = 8192

b. 读写数据库数据

insert into default.test_insert_local values ('2022-01-01', 1);

select count() from default.test_insert_local;
  1. SQL的优点
  • 标准化，ISO和ANSI是长期建立使用的SQL数据库标准
  • 高度非过程化，用SQL进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
  • 以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL语句能够嵌入到高级语言（如C、C#、JAVA）程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL的语法结构基本上是一致的。
  • 语言简洁，易学易用：SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词：CREATE、ALTER、DROP、SELECT、INSERT、UPDATE、DELETE、GRANT、REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习，也容易使用。

数据库的架构

  1. Client

  2. Parser

词法分析，语法分析，生成AST树 (Abstract syntax tree)

  1. Analyzer

变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等，为生成计划做准备

  1. Optimizer
  • 为查询生成性能最优的执行计划
  • 进行代价评估
  • Executor 将执行计划翻译成可执行的物理计划
  • Storage engine a. 管理内存数据结构【index、内存数据、缓存（Query cache、Data cache、Index cache）】 b. 管理磁盘数据【磁盘数据的文件格式、磁盘数据的增删查改】 c. 读写算子【数据写入逻辑、数据读取逻辑】

设计数据库存储的要点

  1. 性能瓶颈在哪里：数据选择、数据读取、构造内存数据、计算
  2. 选择什么样的数据格式：是否可以并发处理、是否可以构建索引、行存，列存 或者 行列混合存储
  3. 选择什么样的索引：读写的方式：读多写少、读少写多、点查场景、分析型场景

列式存储

什么是列存

行存的存储

行存的存储

列存的存储

列存的存储

列存的优点

a. 数据压缩

  • 数据压缩可以使读的数据量更少，在IO密集型计算中获得大的性能优势
  • 相同类型压缩效率更高
  • 排序之后压缩效率更高
  • 可以针对不同类型使用不同的压缩算法

b. 数据处理

【查询优化】1.可以选择特定的列做计算而不是读所有列 2.对聚合计算友好

【延迟物化】

  • 物化：将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join
  • 延迟物化：尽可能推迟物化操作的发生
  • 缓存友好
  • CPU / 内存带宽友好
  • 可以利用到执行计划和算子的优化，例如filter
  • 保留直接在压缩列做计算的机会

【向量化】

  • SIMD: single instruction multiple data，对于现代多核CPU，其都有能力用一条指令执行多条数据

  • 执行模型: 数据需要按批读取 函数的调用需要明确数据类型

  • 列存数据库适合设计出这样的执行模型，从而使用向量化技术

列存 VS 行存

列存 VS 行存

ClickHouse的存储设计

索引设计

  1. 主键索引
CREATE TABLE hits_UserID_URL
(
    `UserID` UInt32,
    `URL` String,
    `EventTime` DateTime
)
ENGINE = MergeTree
PRIMARY KEY (UserID, URL)
ORDER BY (UserID, URL, EventTime)
SETTINGS index_granularity = 8192, index_granularity_bytes = 0;

  1. 数据按照主键顺序一次排序 UserID首先做排序,然后是URL,最后是EventTime

  2. 数据被组织成granule

  • granule是引擎做数据处理的最小数据单位，引擎读数据的时候不是按照一行一行读取的，而是最少读取一个granule
  • 方便构建稀疏索引
  • 方便并行计算

  1. 每个granule都对应primary.idx里面的一行

  2. 默认每8192行记录主键的一行值，primary.idx需要被全部加载到内存里面

  3. 每个主键的一行数据被称为一个mark

  4. 每个列都有这样一个mark文件，mark文件存储所有granule在物理文件里面的地址，每一列都有一个mark文件

  5. mark文件里面的每一行存储两个地址

  • 第一个地址称为block_offset，用于定位一个granule的压缩数据在物理文件中的位置，压缩数据会以一个block为单位解压到内存中。
  • 第二个地址称为granule_offset，用于定位一个granule在解压之后的block中的位置。

索引的缺陷和优化

  1. 缺陷：数据按照key的顺序做排序，因此只有第一个key的过滤效果好，后面的key过滤效果依赖第一个key的基数大小

  2. 二级索引：在URL列上构建二级索引

  3. 构建多个主键索引

  • 再建一个表(数据需要同步两份,查询需要用户判断查哪张表)
  • 建一个物化视图(数据自动同步到隐式表,查询需要用户判断查哪张表)
  • 使用Projection(数据自动同步到隐式表,查询自动路由到最优的表)

数据合并

  • 一个part内的数据是有序的
  • 不同part之间的数据是无序的
  • 数据合并是将多个part合并成一起的过程
  • part的合并发生在一个分区内
  • 数据的可见性
    • 数据合并过程中，未被合并的数据对查询可见
    • 数据合并完成后，新part可见，被合并的part被标记删除

ClickHouse的典型使用场景

  1. 大宽表存储和查询

  2. 离线数据分析

  3. 实时数据分析

  4. 复杂类型查询

avatar
文章
阅读
粉丝