ClickHouse 数据库 | 青训营笔记

74 阅读2分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 6 天。

数据库基本概念

数据库是结构化信息或数据的有序集合,一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中,数据库、DBMS及关联应用一起被称为数据库系统,通常简称为数据库。

数据库类型

  • 关系数据库:关系型数据库是把数据以表的形式进行存储,然后再各个表之间建立关系,通过这些表之间的关系来操作不同表之间的数据。
  • 非关系数据库:NoSQL或非关系数据库,支持存储和操作非结构化及半结构化数据。相比于关系型数据库,NoSQL没有固定的表结构,且数据之间不存在表与表之间的关系,数据之间可以是独立的。
  • 单机数据库:在一台计算机上完成数据的存储和查询的数据库系统。
  • 分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上,位于同一个物理位置,或分散在不同的网络上。

OLTP数据库

OLTP(Online transactional processing)数据库是一种高速分析数据库,专为多个用户执行大量事务而设计。

OLAP数据库

OLAP(Online analytical processing)数据库旨在同时分析多个数据维度,帮助团队更好地理解其数据中的复杂关系。

  • 大量数据的读写,PB级别的存储
  • 多维分析,复杂的聚合函数
  • 窗口函数,自定义UDF(User Define Function)
  • 离线/实时分析

列式存储

列式存储的优点

  • 数据压缩
  • 数据选择
  • 延迟物化
  • 向量化

ClickHouse存储设计

  • 存储架构
  • 索引设计
  • 索引实现
  • 查询优化
  • 数据查询

ClickHouse典型应用场景

  • 大宽表存储和查询
  • 离线数据分析