这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天
通过今天的学习,了解到了列式存储的概念,以及和常用关系型数据库中行式存储的区别.了解到了列式存储ClickHouse的架构图以及表定义和结构图.
一、数据库的基本概念
什么是数据库
数据库是结构化信息或数据的有序集合，一 般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。
数据库的类型
-
关系数据库:关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
-
非关系数据库: NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQl 没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
-
单机数据库:在一台计算机上完成数据的存储和查询的数据库系统。
-
分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
-
OLTP数据库: OLTP (Online transactional processing)数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
-
OLAP数据库: OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系
SQL语言
一种编程语言，目前几乎所有的关系数据库都使用SQL(Structured Query Language)编程语言来查询、操作和定义数据，进行数据访问控制。
SQL的优点
- 标准化，ISO和ANSI是 长期建立使用的SQL数据库标准
- 高度非过程化，用SQL进行数据操作，用户只需提出”做什么”，而不必指明‘怎么做"，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
- 以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL 语句能够嵌入到高级语言(如C、 C#、 JAVA)程序中，供程序员设计程序时使用。而在两种不同的使用方式下o，SQL 的语法结构基本上是一致的。
- 语言简洁，易学易用: SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词: CREATE、ALTER、 DROP、SELECT、 INSERT、UPDATE、DELETE、 GRANT、 REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习，也容易使用。
二、列式存储
行式存储
列式存储
列式存储的优点
数据压缩
- 数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
- 相同类型压缩效率更高
- 排序之后压缩效率更高
- 可以针对不同类型使用不同的压缩算法
数据处理
【查询优化】
- 可以选择特定的列做计算而不是读所有列
- 对聚合计算友好
【延迟物化】
- 物化：将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join
- 延迟物化：尽可能推迟物化操作的发生
- 缓存友好
- CPU / 内存带宽友好
- 可以利用到执行计划和算子的优化，例如filter
- 保留直接在压缩列做计算的机会
三、ClickHouse存储设计
ClickHouse架构
表定义和结构
集群架构
