列式存储 | 青训营笔记

这是我参与「第五届青训营」伴学笔记创作活动的第15天

数据库基本概念

数据库：数据库是结构化信息或数据的有序集合，一般以电子形式存储在计算机系统中。通常由数据库管理系统(DBMS)来控制。在现实中，数据、DBMS及关联应用一起被称为数据库系统，通常简称为数据库。

数据库类型

• 关系型数据库：关系型数据库是把数据以表的形式来进行存储，然后在各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据
• 非关系型数据库：NoSQL或非关系型数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的
• 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统
• 分布式数据库：分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上
• OLTP数据库：OLTP (Online transactional processing) 数据库是一种高速分析数据库，专为多个用户执行大量事务而设计
• OLAP数据库：OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系

列式存储

优点

• 数据压缩

  • 数据压缩可以使读的数据量更少，在IO密集型计算中获得更大的性能优势
  • 相同类型压缩效率更高
  • 排序之后压缩效率更高
  • 可以针对不同类型使用不同的压缩算法

• 数据选择

  • 可以选择特定的列做计算而不是读所有列
  • 对聚合计算友好

• 延时物化

  • 缓存友好
  • CPU/内存带宽友好
  • 可以利用到执行计划和算子的优化，例如filter
  • 保留直接在压缩列做计算的机会

• 向量化

  • SIMD
  • 数据格式
  • 执行模型

应用场景

• 大带宽查询

  • 可以建非常多的列
  • 可以增加、删除、清空每一列的数据
  • 查询的时候引擎可以快速选择需要的列
  • 可以将列涉及到的过滤条件下推到存储层从而加速查询

• 动态表结构

  • map中的每个key都是一列
  • map中的每一列都可以单独的查询
  • 使用方式同普通列，可以做任何计算

• 数据导入

  • 数据可以通过spark生成clickhouse格式的文件
  • 导入到hdfs上由hive2ch导入工具完成数据导入
  • 数据直接导入到各个物理节点

• 数据按列导入

  • 保证查询可以及时访问已有数据
  • 可以按需加载需要的列

• 复杂类型查询