ClickHouse - 你没有见过的列存储 | 青训营笔记

32 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 2 天

1. 数据库基本概念

数据库是结构哈u信息或数据的有序集合,一般以电子形式存储在计算机系统中,通常由数据库管理系统(DBMS)来控制。在现实中,数据,DBMS,及其关联应用一起被称为数据库系统,通常称为数据库系统。

数据库的类型:

  • 关系数据库:关系型数据库是把数据以表的形式进行储存,然后在各个表之间建立关系,通过这些表之间的关系来操作不同表之间的数据

  • 非关系型数据库:NoSQL 或非关系型数据库支持存储和操作非结构化及半结构化数据,相比于关系型数据库,NoSQL 没有固定的表结构,且数据之间不存在表与表之间的关系,数据之间可以是独立的。

  • 单机数据库

  • 分布式数据库

  • OLTP 数据库:OLTP(Online transactional processing)数据库是一种高速分析数据库,专为多个用户执行大量事务而设计

  • OLAP 数据库:OLAP(Online analytical processing)数据库旨在同时分析多个数据维度,帮助团队更好的理解其数据中的复杂关系

SQL 介绍

SQL:一种编程语言,目前几乎所有的关系数据库都使用 SQL(Structured Query Language)语言来查询,操作和定义数据,进行数据访问控制

2. 列式存储

行式存储:

image.png

列式存储:

image.png

列式存储优点:

  • 相同类型压缩效率更高
  • 排序后压缩效率更高
  • 针对不同的类型采用不同的压缩算法
行村列存
优点数据被保持在一起,INSERT/UPDATE更容易便于延迟物化和向量化计算,压缩效率高
缺点选择 即使只涉及到某几列,所有数据也会被读取选择完成后,被选择的列要重新组装,INSERT/UPDATE麻烦,不适合点查询
适用场景点查询,增删改比较多的场景统计分析类查询,即时查询

3. ClickHouse 存储设计

4. ClickHouse 典型应用场景