这是我参与「第五届青训营」伴学笔记创作活动的第 1 天。

前言

ClickHouse是之前俄罗斯的一款开源的搜索引擎，到了17、18年国内公司就开始基于ClickHouse自研数据库技术，目前已经取得了不错的成果。

本堂课主要介绍了一种新的列存储方式——ClickHouse，主要分为四部分内容：数据库的基本概念、列式存储、ClickHouse存储设计和ClickHouse典型应用场景。

一、数据库基本概念

数据库定义

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。

结构化信息示例

结构化信息可以表述为按照一定的格式来描述某组信息，并且按照特定的顺序对其进行排序。然后可以通过某种查询语言进而获得想要的信息。数据库实质上就是把解析数据、整理数据、排序数据写入到存储介质和从存储介质取出来这样一个过程封装起来，变成一个产品供有需要的人使用。

数据库类型

根据ClickHouse的使用规范和分类方式，可以将数据库进行如下的分类：

按照模型分类

关系数据库：关系型数据库是把数据以表的形式进行储存，然后在各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
非关系数据库：NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。

按照架构分类

单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。

按照使用场景分类

OLTP数据库：OLTP (Online transactional processing)数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
OLAP数据库：OLAP (Online analytical processing)数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系

注意OLAP数据库的功能

大量数据的读写，PB级别的存储
多维分析，复杂的聚合函数
窗口函数，自定义UDF(User Define Fucntion)
离线/实时分析

下面是一个多维分析的例子：

可以看出这里通过一条SQL语句将原来的两条数据进行了多个维度的展示，使用户可以从不同的角度来利用相关的信息。

SQL

SQL定义

一种编程语言，目前几乎所有的关系数据库都使用SQL (Structured Query Language)编程语言来查询、操作和定义数据，进行数据访问控制。

SQL优点

标准化，ISO和ANSI是长期建立使用的SQL数据库标准
高度非过程化，用SQL进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
以同-种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL语句能够嵌入到高级语言(如C、 C#、 JAVA) 程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL 的语法结构基本上是一致的。
语言简洁，易学易用: SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词: CREATE、 ALTER、 DROP、 SELECT、 INSERT、UPDATE、DELETE、 GRANT、REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习，也容易使用。

二、列式存储

先来看看行式存储和列式存储的表现形式

行式存储

列式存储

从上面的两幅图中可以看出，行式存储是将在内存中已经排序的数据按照每一行的顺序连续地写到存储介质中去，对应原始信息中的单独条来看，每一条的所有信息都被存在了一起；而列式存储是将所有信息中属性相同的内容存到一个数据块当中，比如图中所示的id、name等。

列式存储的优点

数据压缩

数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
相同类型压缩效率更高
排序之后压缩效率更高
可以针对不同类型使用不同的压缩算法
1. LZ4
- (5,4)代表向前5个byte,匹配到的内容长度有4，即"bcde"是一个重复
- 重复项越多或者越长，压缩率就会越高
1. Run-length encoding
- 压缩重复的数据
- 可以在压缩数据上直接计算
1. Delta encoding
- 将数据存储为连续数据之间的差异，而不是直接存储数据本身
- 特定算子也能直接在压缩数据上计算

数据选择:

可以选择特定的列做计算而不是读所有列
对聚合计算友好

延时物化:

缓存友好
CPU/内存带宽友好
可以利用到执行计划和算子的优化，例如filter
保留直接在压缩列做计算的机会

向量化

SIMD
数据格式
执行模型

行存与列存的比较

	行存	列存
优点	数据被保存在一起；INSERT/UPDATE容易。	查询时只有涉及到的列会被读取；投影(Projection)很高效；任何列都能作为索引；便于做延迟物化和向量化计算；压缩效率高，每一列可以使用不同的压缩算法。
缺点	选择(Selection)时即使只涉及某几列，所有数据也都会被读取。	选择完成时，被选择的列要重新组装。INSERT/UPDATE比较麻烦。点查询不适合。
适用场景	点查询(返回记录少，基于索引的，简单查询)。增、删、改操作较多的场景。	统计分析类查询(OLAP,比如数据仓库业务，此类型的表上会做大量的汇聚计算，且涉及的列操作较少，关联、分组操作较多)。即时查询(查询条件不确定，行存表扫描难以使用索引)。

三、ClickHouse存储设计

表定义和结构

分布式表：不存储数据，用于将查询路由到集群的各个节点
- cluster：逻辑集群，由多个节点组成
- shard_ key：指导数据写入分布式表时的分布方式
本地表：实际存储数据的表

索引设计

Hash Index

1.将输入的key通过一个HashFunction映射到一组bucket上

2.每个bucket都包含一个指向一条记录的地址

3.哈希索弓在查找的时候只适用于等值比较

B-Tree

1.数据写入是有序的，支持增删查改

2.每个节点有多个孩子节点

3.每个节点都按照升序排列key值

4.每个key有两个指向左右孩子节点的引用

 - 左孩子节点保存的key都小于当前key

 - 右孩子节点的保存的key都大于当前key

B+Tree

1.所有的数据都存储在叶子节点，非叶子节点只保存key值

2.叶子节点维护到相邻叶子节点的引用

3.可以通过key值做二分查找，也可以通过叶子节点做顺序访问

索引实现

主键索引

数据按照主键顺序依次做排序

首先按照UserID做排序
再按照URL排序
最后是EventTime

示例程序如下

CREATE TABLE hits_UserID_URL
(
   'UserID' UInt32,
   'URL' string,
   'EventTime' DateTime
)
ENGINE = MergeTree 
PRIMARY KEY (UserID, URL)
ORDER BY (UserID, URL, EventTime)
SETTINGS index_granularity = 8192, index_granularity_bytes = 0;

查询优化

1、构建多个主键索引

再建一个表，使用需要优化的字段做主键第一位
建一个物化视图
使用Projection

2、再建一个表

1.数据需要同步两份

2.查询需要用户判断查哪张表

3、建一个物化视图

1.数据自动同步到隐式表

2.查询需要用户判断查哪张表

4、使用Projection

1.数据自动同步到隐式表

2.查询自动路由到最优的表

小结

主键包含的数据顺序写入
主键构造一个主键索引
每个列构建一个稀疏索引
通过mark的选择让主键索引可以定位到每一列的索引
可以通过多种手段优化非主键列的索引

四、ClickHouse应用场景

大宽表存储和查询:

1.大宽表查询

可以建非常多的列
可以增加，删除，清空每一列的数据
查询的时候引擎可以快速选择需要的列
可以将列涉及到的过滤条件下推到存储层从而加速查询

2动态表结构

map中的每个key都是一列
map中的每一列都可以单独的查询
使用方式同普通列，可以做任何计算

离线数据分析

1.数据导入

数据可以通过spark生成clickhouse格式的文件
导入到hdfs上由hive2ch导入工具完成数据导入
数据直接导入到各个物理节点

2.数据按列导入

保证查询可以及时访问已有数据
可以按需加载需要的列

总结

1.ClickHouse是标准的列存结构

2.存储设计是SM-Tree架构

3.使用稀疏索引加速查询

4.每个列都有丰富的压缩算法和索引结构

5.基于列存设计的高效的数据处理逻辑

引用参考

青训营课程直播 live.juejin.cn/4354/ClickH…

MYSQL数据库 Schema 设计与优化 juejin.cn/post/717139…

ClickHouse-你没有见过的列存储 ｜ 青训营笔记

前言