1、数据库基本概念

数据库定义

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS）来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。

数据库类型

1) 关系与非关系

关系数据库:关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。非关系数据库:NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。

2) 单机与分布式

单机数据库:在一台计算机上完成数据的存储和查询的数据库系统。分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。

3) OLTP和OLAP（根据使用场景分类）

OLTP数据库:OLTP (Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。 OLAP数据库: OLAP (Online analytical processing)数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。

2、列式存储

列式存储的优点

1) 数据压缩

数据压缩可以使读的数据量更少，在lO密集型计算中获得更大的性能优势相同类型压缩效率更高

相同类型压缩效率更高

排序之后压缩效率更高

可以针对不同类型使用不同的压缩算法

2)延时物化

缓存友好

CPU/内存带宽友好

可以利用到执行计划和算子的优化，例如filter保留直接在压缩列做计算的机会

3)向量化

SIMD：CPU可以并行的计算我们写的代码，那么理论上我们的处理速度就会是之前代码的100倍，SIMD指令就可以完成这样的工作。

3、ClickHouse存储设计

表定义和结构

ClickHouse在结构上拥有分布式表、cluster逻辑集群、shard_key分布方式以及实际存储数据的本地表。

索引设计

对于选取索引，我们首先想到Hash Index和B（B+）树作为索引，但这些索引作为ClickHouse的索引都存在一些问题：

B（B+）树，当数据量大时，B（B+）树的深度太高。

Hash Index，不适合大范围的聚合查询。

因此，ClickHouse选用的索引是Log-structured merge-tree (LSM tree)。LSM tree是一种为大吞吐写入场景而设计的数据结构-着重优化顺序写入。

ClickHouse - 你没有见过的列存储 复习 ｜ 青训营笔记