列存储 & ClickHouse | 青训营笔记

这是我参与「第五届青训营」笔记创作活动的第16天。

数据库基本概念

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS) 来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。

• 关系数据库：关系型教据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的教据。

• 非关系数据库：NoSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSOL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。

• 单机数据库:在一台计算机上完成数据的存储和查询的数据库系统

• 分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上

• OLTP 数据库: OLTP (Onine transactional processing)数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。

• OLAP 数据库: OLAP(Onine analytical processing)数据库在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。

列式存储

列式存储优点：数据压缩、延迟物化、向量化。

ClickHouse 存储设计

因为数据量非常大，索引设计一般使用 LSM 树，

ClickHouse 典型应用场景

• 大宽表存储和查询
• 离线数据分析
• 复杂类型查询