这是我参与「第五届青训营」伴学笔记创作活动的第16天。
1.数据库的类型
- 数据库有很多种，至于各种数据库孰优孰劣，主要取决于企业希望如何使用数据。
- 关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
- 非关系数据库 ： NoSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。NoSQL的关键是它们放弃了传统关系型数据库的强事务保证和关系模型，通过所谓最终一致性和非关系数据模型（例如键值对，图，文档）来提高Web应用所注重的高可用性和可扩展性。
- 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
- 分布式数据库 ： 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
- OLTP 数据库 ： OLTP（Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
- OLAP 数据库：OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系
2.列式存储
列存的优点
<1>. 数据压缩
- 数据压缩可以使读的数据量更少，在IO密集型计算中获得大的性能优势
- 相同类型压缩效率更高
- 排序之后压缩效率更高
- 可以针对不同类型使用不同的压缩算法
- 几种常见的压缩算法
<2>. 数据处理
【查询优化】1.可以选择特定的列做计算而不是读所有列 2.对聚合计算友好
【延迟物化】
- 物化：将列数据转换为可以被计算或者输出的行数据或者内存数据结果的过程，物化后的数据通常可以用来做数据过滤，聚合计算，Join
- 缓存友好
- CPU / 内存带宽友好
- 可以利用到执行计划和算子的优化，例如filter
- 保留直接在压缩列做计算的机会
3.应用场景
-
大带宽查询
- 可以建非常多的列
- 可以增加、删除、清空每一列的数据
- 查询的时候引擎可以快速选择需要的列
- 可以将列涉及到的过滤条件下推到存储层从而加速查询
-
动态表结构
- map中的每个key都是一列
- map中的每一列都可以单独的查询
- 使用方式同普通列，可以做任何计算
-
数据导入
- 数据可以通过spark生成clickhouse格式的文件
- 导入到hdfs上由hive2ch导入工具完成数据导入
- 数据直接导入到各个物理节点
-
数据按列导入
- 保证查询可以及时访问已有数据
- 可以按需加载需要的列
-
复杂类型查询
