这是我参与「第五届青训营 」伴学笔记创作活动的第 17 天
clickhouse，字节自研数据库，存储设计，数据库基本概念，列式存储，存储设计，典型应用场景。
数据库的类型
- 数据库有很多种，至于各种数据库孰优孰劣，主要取决于企业希望如何使用数据。
- 关系数据库：关系型数据库是把数据以表的形式进行储存，然后再各个表之间建立关系，通过这些表之间的关系来操作不同表之间的数据。
- 非关系数据库 ： NoSQL 或非关系数据库，支持存储和操作非结构化及半结构化数据。相比于关系型数据库，NoSQL没有固定的表结构，且数据之间不存在表与表之间的关系，数据之间可以是独立的。NoSQL的关键是它们放弃了传统关系型数据库的强事务保证和关系模型，通过所谓最终一致性和非关系数据模型（例如键值对，图，文档）来提高Web应用所注重的高可用性和可扩展性。
- 单机数据库：在一台计算机上完成数据的存储和查询的数据库系统。
- 分布式数据库 ： 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上，位于同一个物理位置，或分散在不同的网络上。
- OLTP 数据库 ： OLTP（Online transactional processing）数据库是一种高速分析数据库，专为多个用户执行大量事务而设计。
- OLAP 数据库：OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度，帮助团队更好地理解其数据中的复杂关系
使用场景
-
OLTP数据库 高速分析数据库，多个用户执行大量事务而设计
-
大量数据的读写，PB级别的存储
-
多维分析，复杂的聚合函数，比如avg,count,max等聚合函数
-
窗口函数，自定义UDF
-
离线/实时分析
-
OLAP数据库 数据库在同时分析多个数据维度，帮助团队更好的理解其数据中的复杂关系
-
设计数据库存储的要点
-
性能瓶颈在哪里：数据选择、数据读取、构造内存数据、计算
-
选择什么样的数据格式：是否可以并发处理、是否可以构建索引、行存，列存 或者 行列混合存储
-
选择什么样的索引：读写的方式：读多写少、读少写多、点查场景、分析型场景
-
ClickHouse典型应用场景
- Kafka
- Spark
- Hdfs
- Bitmap
- 字典编码
