ClickHouse 技术原理｜青训营笔记

数据库基本概念

这是我参与「第五届青训营」伴学笔记创作活动的第十四天

1.1 数据库基本概念

• 数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常有数据库管理系统(DBMS)来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常被称为数据库。

1.2 数据库的类型

• 关系型数据库：关系型数据库是把数据以表的形式进行存储，然后在各个表之间建立关系，通过这些表之间的的关系来操作不同表之间的数据。
• 非关系型数据库：NoSQL或非关系型数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。
• 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
• 分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
• OLTP数据库：OLTP(Online transactional processing)数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
• OLAP数据库：OLAP(Online analytical processing)数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系。
  • 大量数据的读写，PB级别的存储
  • 多维分析，复杂的聚合函数
  • 窗口函数，自定义UDF(User Define Function)
  • 离线/实时分析
• SQL：一种编程语言，目前几乎所有的关系型数据库都使用SQL编程语言来查询、操作和定义数据，进行数据访问控制。
• 数据库架构
• SQL的执行

列式存储

2.1 列式存储

2.2 列式存储的优点

• 数据压缩
• 延迟物化：尽可能推迟物化操作的发生
• 向量化

ClickHouse存储设计

• 表定义和结构
• 集群架构
• 引擎架构
• 存储架构
• 索引设计
  • Log-structured merge-tree(LSM tree)是一种为大吞吐写入场景而设计的数据结构
    • 主要数据结构
      • SSTables
      • Memtable
• 索引实现
• 查询优化
• 数据合并
• 数据查询