这是我参与「第五届青训营」笔记创作活动的第7天
1. 数据库的基本概念
基本概念
数据库时结构化信息或数据的有序结合,一般以电子形式存储在计算机系统中。通常由数据库管理系统控制。现实中,数据、DBMS及其关联应用一起被称为数据库系统,即数据库
数据库的类型
-
关系型数据库:将数据以表的形式进行存储,然后在各个表之间建立关系,通过关联来操作不同表之间的数据
-
非关系型数据库:支持存储和操作非结构化及半结构化数据。没有固定的表结构,数据之间不存在表与表之间的关系,数据之间是独立的。
-
单机数据库:在一台计算机上完成数据的存储和查询的数据库系统
-
分布式数据库:分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上,位于同一个物理位置,或分散在不同网络上。
-
OLTP数据库:是一种高速分析数据库,专为多个用户执行大量事务而设计
-
OLAP数据库:旨在同时分析多个数据维度,帮助团队更好地理解其数据中的复杂关系
2. 列式存储
列式存储的优点
数据压缩:
- 使读的数据量更少,在IO密集计算中获得更大的性能优势
- 相同类型压缩效率更高
- 排序之后压缩效率更高
- 可以针对不同类型使用不同压缩算法(LZ4,Run-length encoding、Delta encoding) 数据选择:
- 可以选择特定的列做计算而不是读所有列
- 对聚合计算友好 延迟物化:物化是指将列数据转换为可以被计算或者输出的行数据,或者内存数据结果的过程,物化后的数据通常可以用来做数据过滤
适用场景
行式存储:
- 点查询(返回记录少,基于索引的简单查询)
- 增、删、改操作较多的场景
列式存储:
- 统计分析类查询(OLAP,比如数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少,关联、分组操作较多)
- 即时查询(查询条件不确定,行存表扫描难以使用索引)