这是我参与「第五届青训营」伴学笔记创作活动的第 7 天
本节课主要介绍：
一.数据库基本概念
数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。
数据库的类型：
关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
非关系数据库：NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
OLTP数据库：OLTP(Online transactional processing) 数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
OLAP数据库：OLAP(Online analytical processing)数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系
SQL：
一个简单的SQL查询包含SELECT:关键词。星号("*")也可以用来指定查询应当返回查询表所有字段，可选的关键词和子句。
FROM子句指定了选择的数据表。FROM子句也可以包含JOIN二层子句来为数据表的连接设置规则。
WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。
GROUP BY子句用于将若干含有相同值的行合并。GROUP BY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUP BY子句要用在WHERE子句之后。
SQL的优点：
1.标准化，ISO和ANSI是长期建立使用的SQL数据库标准
2.高度非过程化，用SQL进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
3.以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL语句能够嵌入到高级语言(如C、C#、JAVA)程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL的语法结构基本上是一致的。
4.语言简洁，易学易用：SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词：CREATE、ALTER、DROP、SELECT、NSERT、UPDATE、DELETE、GRANT、REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习，也容易使用。
二.列式存储
列式存储优点：
1.数据压缩
（1）数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
（2）相同类型压缩效率更高
（3）排序之后压缩效率更高
（4）可以针对不同类型使用不同的压缩算法
2.数据选择
（1）可以选择特定的列做计算而不是读所有列
（2）对聚合计算友好
3.延迟物化
物化：将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join
延迟物化：尽可能推迟物化操作的发生
延时物化：
（1）缓存友好
（2）CPU/内存带宽友好
（3）可以利用到快行计划和算子的优化，例如filter
（4）保留直接在压缩列做计算的机会
4.向量化
（1）SIMD
（2）数据格式
（3）执行模型
三.ClickHouse存储设计
索引设计：
Hash Index
1.将输入的key通过一个HashFunction映射到一组bucket上
2.每个bucket都包含一个指向一条记录的地址
3.哈希索引在查找的时候只适用于等值比较
B-Tree
1.数据写入是有序的，支持增删查改
2.每个节点有多个孩子节点
3.每个节点都按照升序排列key值
4.每个key有两个指向左右孩子节点的引用
左孩子节点保存的key都小于当前key
右孩子节点的保存的key都大于当前key
B+Tree
1.所有的数据都存储在叶子节点，非叶子节点只保存ky值
2.叶子节点维护到相邻叶子节点的引用
3.可以通过key值做二分查找，也可以通过叶子节点做顺序访问
对于大数据量，B(B+)-Tree深度太高
索引数据量太大，多个列如何平衡查询和存储——LSM-Tree OLAP场景写入量非常大，如何优化写入
Log-structured merge-tree(LSM tree)是一种为大吞吐写入场景而设计的数据结构 着重优化顺序写入 主要数据结构
1.SSTables
2.Memtable
SSTables
1.Key按顺序存储到文件中，称为segment
2.包含多个segment
3.每个segment写入磁盘后都是不可更改的，新加的数据只能生成新的segment
Memtable
在内存中的数据保存在memtable中，大多数实现都是一颗Binary search tree 当memtable存储的数据到达一定的阈值的时候，就会按顺序写入到磁盘
数据查询
-需要从最新的segment开始遍历每个key
-也可以为每个segment建一个索引
Compaction（合并）
-Compaction指将多个segments合并成一个segments的过程 -一般是有一个后台线程完成
-不同的segments写入新的segment的时候也是需要排序，形成新的segment之后，旧的segment]文件就会被删除
四.ClickHouse典型应用场景
典型应用场景：
1.大宽表存储和查询
2.离线数据分析
3.复杂类型查询
五.总结
1.ClickHouse是标准的列存结构
2.存储设计是LSM-Tree架构
3.使用稀疏索加速查询
4.每个列都有丰富的压缩算法和索结构
5.基于列存设计的高效的数据敔处理逻辑
引用
字节内部直播课-live.juejin.cn/4354/ClickH…
