认识列式存储|青训营笔记

64 阅读2分钟

这是我参与「第五届青训营」笔记创作活动的第7天

1. 数据库的基本概念

基本概念

数据库时结构化信息或数据的有序结合,一般以电子形式存储在计算机系统中。通常由数据库管理系统控制。现实中,数据、DBMS及其关联应用一起被称为数据库系统,即数据库

数据库的类型

  • 关系型数据库:将数据以表的形式进行存储,然后在各个表之间建立关系,通过关联来操作不同表之间的数据

  • 非关系型数据库:支持存储和操作非结构化及半结构化数据。没有固定的表结构,数据之间不存在表与表之间的关系,数据之间是独立的。

  • 单机数据库:在一台计算机上完成数据的存储和查询的数据库系统

  • 分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上,位于同一个物理位置,或分散在不同网络上。

  • OLTP数据库:是一种高速分析数据库,专为多个用户执行大量事务而设计

  • OLAP数据库:旨在同时分析多个数据维度,帮助团队更好地理解其数据中的复杂关系

2. 列式存储

列式存储的优点

数据压缩

  • 使读的数据量更少,在IO密集计算中获得更大的性能优势
  • 相同类型压缩效率更高
  • 排序之后压缩效率更高
  • 可以针对不同类型使用不同压缩算法(LZ4,Run-length encoding、Delta encoding) 数据选择
  • 可以选择特定的列做计算而不是读所有列
  • 对聚合计算友好 延迟物化:物化是指将列数据转换为可以被计算或者输出的行数据,或者内存数据结果的过程,物化后的数据通常可以用来做数据过滤

适用场景

行式存储

  1. 点查询(返回记录少,基于索引的简单查询)
  2. 增、删、改操作较多的场景

列式存储

  1. 统计分析类查询(OLAP,比如数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少,关联、分组操作较多)
  2. 即时查询(查询条件不确定,行存表扫描难以使用索引)