这是我参与「第五届青训营」伴学笔记创作活动的第20天。

一、数据库基本概念

数据库是结构化信息或数据的序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统（DBMS）来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。

数据库的类型

• 关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
• 非关系数据库：NoSQL或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
• 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
• 分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
• OLTP数据库：OLTP（Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
• OLAP数据库：OLAP（Online analytical processing）数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。

OLAP数据库

• 大量数据的读写，PB级别的存储
• 多维分析，复杂的聚合函数
• 窗口函数，自定义UDF(User Define Fucntion)
• 离线/实时分析

SQL 一种编程语言，目前几乎所有的关系数据库都使用SQL（Structured Query Language）编程语言来查询、操作和定义数据，进行数据访问控制。
一个简单的SQL查询包含SELECT关键词。星号也可以用来指定查询应当返回查询表所有字段，可选的关键词和子句。
FROM子句指定了选择的数据表。FROM子句也可以包含JOIN二层子句来为数据表的连接设置规则。
WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。
GROUPBY子句用于将若干含有相同值的行合并。GROUPBY通常与SQL聚合函数连用，或者用于清除数据重复的行。GROUPBY子句要用在WHERE子句之后。

SQL的优点

• 1.标准化，ISO和ANSI是长期建立使用的SQL数据库标准
• 2.高度非过程化，用SQL进行数据操作，用户只需提出"做什么"，而不必指明"怎么做"，因此用户无须了解存取路径，存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
• 3.以同一种语法结构提供两种使用方式，用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言，SQL语句能够嵌入到高级语言（如 C、C#、JAVA）程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SQL的语法结构基本上是一致的。
• 4.语言简洁，易学易用：SQL功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了9个动词：CREATE、ALTER、DROP、SELECT、INSERT、UPDATE、DELETE、GRANT、REVOKE。且SQL语言语法简单，接近英语口语，因此容易学习，也容易使用。

二、列式存储

列式存储的优点

数据压缩

• 数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
• 相同类型压缩效率更高
• 排序之后压缩效率更高
• 可以针对不同类型使用不同的压缩算法

延时物化

• 缓存友好
• CPU/内存带宽友好
• 可以利用到执行计划和算子的优化，例如filter
• 保留直接在压缩列做计算的机会

向量化

• SIMD
• 数据格式
• 执行模型

数据格式要求：

• 需要处理多个数据，因此数据需要是连续内存
• 需要明确数据类型

执行模型要求：

• 数据需要按批读取
• 函数的调用需要明确数据类型

列存数据库适合设计出这样的执行模型，从而使用向量化技术：

• 按列读取
• 每种列类型定义数据读写逻辑
• 函数按列类型处理

行存VS列存

行存

优点

• 数据被保存在一起。
• INSERT/UPDATE容易。

缺点

• 选择（Selection）时即使只涉及某几列，所有数据也都会被读取。

适用场景

• 点查询（返回记录少，基于索引的简单查询）。
• 增、删、改操作较多的场景。

列存

优点

• 查询时只有涉及到的列会被读取。
• 投影（ Projection ）很高效。
• 任何列都能作为索引。
• 便于做延迟物化和向量化计算。
• 压缩效率高，每一列可以使用不同的压缩算法。

缺点

• 列存优点选择完成时，被选择的列要重新组装。
• INSERT/UPDATE比较麻烦。
• 点查询不适合。

适用场景

• 统计分析类查询（OLAP，比如数据仓库业务，此类型的表上会做大量的汇聚计算，且涉及的列操作较少，关联、分组操作较多）。
• 即时查询（查询条件不确定，行存表扫描难以使用索引）。

三、ClickHouse存储设计

表定义和结构

• 分布式表：不存储数据，用于将查询路由到集群的各个节点 cluster：逻辑集群，由多个节点组成
  shard_key：指导数据写入分布式表时的分布方式
• 本地表：实际存储数据的表

查询优化：
构建多个主键索引：

• 再建一个表，使用需要优化的字段做主键第一位
• 建一个物化视图
• 使用Projection

四、ClickHouse典型应用场景

典型应用场景
大宽表存储和查询：
1.大宽表查询

• 可以建非常多的列
• 可以增加，删除，清空每一列的数据
• 查询的时候引擎可以快递选择需要的列
• 可以将列涉及到的过滤条件下推到存储层从而加速查询

2.动态表结构

• map中的每个key都是一列
• map中的每一列都可以单独的查询
• 使用方式同普通列，可以做任何计算

离线数据分析：
1.数据导入

• 数据可以通过spark生成clickhouse格式的文件
• 导入到hdfs上由hive2ch导入工具完成数据导入
• 数据直接导入到各个物理节点

2.数据按列导入

• 保证查询可以及时访问已有数据
• 可以按需加载需要的列