认识列存储——ClickHouse ｜ 青训营笔记

Icecreamhan
49 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 7 天

数据库基本概念

什么是数据库？

数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS) 来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库,

  • 结构化信息：按照一定的范式、格式描述整理的信息
  • 数据解析整理成有序集合
  • 可以通过查询语言获取想要的信息

数据库的类型

  • 按照模型分类：
  1. 关系数据库

关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。

  1. 非关系数据库

NOSOL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。，没有非常严格的字段的定义，字段与字段之间是相互独立的。

  • 从架构上去理解
  1. 单机数据库

在一台计算机上完成数据的存储和查询的数据库系统。

  1. 分布式数据库

分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。

也可由多台单机数据库组成，只需要在上面封装一个分布式逻辑就可。

-从使用场景上来看

  1. OLTP 数据库

OLTP (Online transactional processing) 数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。

一般用来做一些大量的事务设计，做很多点查。

  1. OLAP 数据库

OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。

一般用来分析大量的数据，帮业务更好的理解数据中的复杂关系。

而 ClickHouse 是一个关系型的、分布式的OLAP数据库；

OLAP数据库

  • 大量数据的读写，PB 级别的存储

怎么优化存储、怎么优化读写效率、在PB 级别下怎么优化查询

  • 多维分析，复杂的聚合函数

同一条 SQL ，就可以通过多种维度展示

  • 窗口函数，自定义 UDF(User Define Fucntion)

需要定义一些窗口范围，在这些窗口范围上做一些操作

  • 离线/实时分析

离线是指：我们的数据是之前准备好的，通过离线导入的方式，先把数据导入到共享存储上，比如说 HDFS，再通过一些脚本命令或者一些自带的命令，将其导入到数据库中来。

实时分析：是指数据是实时产生的，通过一些消息队列，例如：kafka，实时的消费到我们的数据库中。真的这些场景，我们的 OLAP 都会对其做实时的优化。

SQL

一种编程语言，目前几乎所有的关系数据库都使用 SQL(Structured Query Language) 编程语言来查询、操作和定义数据，进行数据访问控制。

SQL的优点

  1. 标准化，ISO 和 ANSI 是长期建立使用的 SOL 数据库标准；
  2. 高度非过程化，用 SOL 进行数据操作，用户只需提出“做什么”，而不必指明“怎么做”， 因此用户无须了解存取路径，存取路径的选择以及 SOL 语句的操作过程由系统自动完成。这不但大大减轻了用户负担，而且有利于提高数据独立性。
  3. 以同一种语法结构提供两种使用方式，用户可以在终端上直接输入 SOL 命令对数据库进行操作。作为嵌入式语言，SOL 语句能够嵌入到高级语言 (如 C、C#、JAVA ) 程序中，供程序员设计程序时使用。而在两种不同的使用方式下，SOL 的语法结构基本上是一致的。
  4. 语言简洁，易学易用: SOL 功能极强，但由于设计巧妙，语言十分简洁，完成数据定义、数据操纵、数据控制的核心功能只用了 9 个动词: CREATE、ALTER、DROP、SELECT、INSERT、UPDATE、DELETE、GRANT、REVOKE。且 SOL 语言语法简单，接近英语口语，因此容易学习也容易使用。

SQL 的语句

  • SELECT

一个简单的 SQL 查询包含 SELECT 关键词。星号( * ) 也可以用来指定查询应当返回查询表所有字段可选的关键词和子句。

  • FROM

FROM 子句指定了选择的数据表。FROM 子句也可以包含 JOIN 二层子句来为数据表的连接设置规则。

  • WHERE

WHERE 子句后接一个比较谓词以限制返回的行。WHERE 子句仅保留返回结果里使得比较谓词的值为 True 的行。

  • GROUP BY

GROUP BY 子句用于将若干含有相同值的行合并。GROUP BY 通常与 SQL 聚合函数连用，或者用于清除数据重复的行。GROUP BY 子句要用在 WHERE 子句之后。

50b64f699f4abef5f40cc232fb98605.png

SQL 的执行

image.png

① client 解析用户输入的 SQL 并把它传入 server, client 有很多种，既可以是自己的数据库提供的一个产品，也可以是业务通过代码写的一些协议，只要能和 server 协议兼容，都可以称为 client，也可以是第三方自己编写的driver

② server 部分 前三部分用于 SQL 的解析与优化、分析的模块，executor 是执行的模块。

  • Parser：词法分析，语法分析，生成AST 树（Abstract syntax tree)
  • optimizer：为查询生成性能最优的执行计划、进行代价评估；
  • analyzer analyzer: 变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等，为生成计划做准备

例如:

  • 判断a.b是不是类型正确

  • a,b是不是来自表t

  • group by字段是否合法，是否存在聚合函数

  • executor：将执行计划翻译成可执行的物理计划并驱动其执行。

③蓝色部分是存储引擎

里面包含索引的管理、事务的管理、文件的管理、缓存的管理，且会封装一些和底层存储介质交互的逻辑，以及和上层执行引擎交互的逻辑

存储引擎

  1. 管理内存数据结构

索引

内存数据

缓存

  • Query cache
  • Data cache
  • Index cache
  1. 管理磁盘数据

磁盘数据的文件格式

磁盘数据的增删查改

  1. 读写算子

数据写入逻辑

数据读取逻辑

avatar
文章
阅读
粉丝