这是我参与「第五届青训营 」伴学笔记创作活动的第 19天

ClickHouse - 你没有见过的列存储

数据库基本概念

1. 数据库
2. DBMS：数据库管理系统
3. OLTP 数据库 ： OLTP（Online transactional processing）
4. OLAP 数据库：OLAP (Online analytical processing)
5. SQL (Structured Query Language)
6. 词法分析
7. 语法分析
8. AST (Abstract syntax tree)

列式存储

1. 行式存储

2. 列式存储

3. 数据压缩

   a. LZ4

   b. Run-length encoding

   c. Delta encoding

4. 延迟物化

   a. 物化

   b. Cpu cache

   c. 内存带宽

5. 向量化

   a. SIMD （single instruction multiple data）

   b. SSE指令集

   c. AVX指令集

ClickHouse存储设计

1. Shard key

2. 索引

   a. 哈希索引

   b. B-Tree

   c. B+Tree

   d. LSM-Tree

ClickHouse典型应用场景

1. Kafka
2. Spark
3. Hdfs
4. Bitmap
5. 字典编码

数据库基本概念

数据库是什么

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统 (DBMS) 来控制。在现实中，数据、DBMS 及关联应用一起被称为数据库系统，通常简称为数据库。

1. 数据解析整理成有序集合

2. 数据的写入和读取，可以通过查询语言获取想要的信息

数据库的类型

1. 数据库有很多种，至于各种数据库孰优孰劣，主要取决于企业希望如何使用数据。
2. 关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
3. 非关系数据库 ： NoSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。NoSQL的关键是它们放弃了传统关系型数据库的强事务保证和关系模型，通过所谓最终一致性和非关系数据模型（例如键值对，图，文档）来提高Web应用所注重的高可用性和可扩展性。
4. 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
5. 分布式数据库 ： 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
6. OLTP 数据库 ： OLTP（Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
7. OLAP 数据库：OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系

OLAP数据库

1. 大量数据的读写，PB级别的存储
2. 多维分析，复杂的聚合函数

SQL

1. 一种编程语言，目前几乎所有的关系数据库都使用 SQL (Structured Query Language ) 编程语言来查询、操作和定义数据，进行数据访问控制。
2. SQL的结构

  查询包含一系列含有最终结果的字段, 紧跟SELECT关键词。星号（"*"）也可以用来指定查询应当返回查询表所有字段，可选的关键词和子句包括：

• FROM子句指定了选择的数据表。FROM子句也可以包含JOIN 二层子句来为数据表的连接设置规则。

• WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。

• GROUP BY子句用于将若干含有相同值的行合并。 GROUP BY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUP BY子句要用在WHERE子句之后。

• HAVING子句后接一个谓词来过滤从GROUP BY子句中获得的结果，由于其作用于GROUP BY子句之上，所以聚合函数也可以放到其谓词中。

• ORDER BY子句指明将哪个字段用作排序关键字，以及排序顺序(升序/降序)，如果无此子句，那么返回结果的顺序不能保证有序。