这是我参加青训营的第13天
ClickHouse-你没见过的列存储
什么是ClickHouse
ClickHouse是一个列存储数据库管理系统，由Yandex开发，设计用于支持高性能分析查询，支持超大规模数据处理。它采用完全分布式集群架构，并提供基于SQL的可扩展数据分析。ClickHouse最初于2016年发布，并且正在为Yandex提供从网页搜索到广告投放等服务。
ClickHouse采用完全分布式体系结构，支持大规模数据处理和分析查询。它可以处理数十亿行的数据，提供比MySQL更高的性能和吞吐量。它还支持分布式体系结构，通过分布式查询，可以实现在多个服务器之间的数据分析和查询过程。此外，ClickHouse支持混合OLAP和OLTP查询以及NoSQL类型。
ClickHouse支持丰富的SQL语法、SQL优化器和新的数据处理和分析模型。它还提供多种客户端，包括Command Line Client、Python、Java、Go等。 ClickHouse的其他功能包括在线备份、只读副本、多租户管理等。
ClickHouse的优势在于其优化的列式存储架构，而不是传统的行式存储架构，其数据分析效率高于传统的行式存储架构。此外，它还支持在线备份和只读副本，可以实现在线备份和及时恢复，同时保证查询性能
ClickHouse的特点
- 对 PB 级数据集进行快速分析
- PB 级数据是什么概念?
PB级数据是指数据量达到PB（即1,000 TB）的大规模数据集。这些数据集的总大小可达到1 PB或更多，而每个数据元素可能有多个属性，这些属性可能以字符，数字，对象，图像或音频等形式存在。PB级数据中包括关系数据库，NoSQL数据库，云数据库，大数据库，文件系统，文档存储和数据仓库等。
在分析和处理PB级数据时，一般使用复杂的分析技术，如机器学习和深度学习，以处理文本，图像和视频等非结构化数据。为了处理PB级数据，有必要采取高级计算方法，并使用更大的计算资源。PB级数据处理可以用来建立行为模式，优化商业操作，制定策略，改善客户体验等等。
- 针对查询的大规模并行处理进行了优化
- 多个数据源，例如表、外部数据库和文件
- 跨多个节点分布式处理查询
- 支持标准 SQL（结构化查询语言）
- 压缩列数据，从而加快存储和检索速度
- 安全功能和基于角色的访问控制
ClickHouse的用途
- 财务分析
- 商业智能
- 实时仪表板
- 性能分析
- 即席查询
- 网站分析和日志处理
- 复杂事件处理
ClickHouse的好处
- 极快的响应时间，即使是大型数据集
- 高可扩展性和灵活性
- 拥有成本低
- 高可用性和容错
- 降低总拥有成本
- 易于使用和管理
列式存储，和行式存储的优缺点和应用场景
| 列式存储 | 行式存储 | |
|---|---|---|
| 列式存储是一种用于将大量数据存储在结构化数据库中的一种有效方式。它通过将频繁查询的数据存储在相同的列中，以提高数据库查询的性能。它旨在将数据存储在一起以供查询，可以有效地管理大型数据集，这样就可以更轻松地访问，更新和检索。 | 行式存储是将数据存储在表格中的一种工作方式，每一行代表一个记录，而每一列代表每个字段。它将数据存储在灵活的表格中，可以容纳可变形式的字段，从而实现更好的数据库查询。 | |
| 优点 | 在列式存储中，数据存储在表中，这使得系统能够更有效地查询数据，并且实现更快的查询速度。列式存储可以更有效地利用硬件资源，因为它重点关注经常查询的属性。列式存储的查询更容易编写和管理，因为只需要知道列的名称即可。由于不需要大量的查询，因此有助于减少错误，并且可以更容易地维护表的完整性。 | 行式存储提供更高的数据操纵性，因为它可以更灵活地管理数据。行式存储可以提供良好的数据恢复能力，因为表中每一行都是独立的实体，所以可以更容易地恢复受损的数据。 |
| 缺点 | 列式存储的查询速度受存储在哪些列中的数据量的影响，因此可能会变慢。列式存储只能存储用于分析的数据，而不能存储文本或大型二进制对象。如果用户试图添加新列，则可能会破坏原先的表结构，降低查询速度。 | 查询数据可能会变得更慢，因为行式存储中每个表中的每一行必须读取才能找到所需的数据。行式存储可能会浪费资源，因为它将大量数据存储在一个表中，而不是将有用的数据存储在一起。 |
| 应用场景 | 列式存储通常用于处理流量量大的数据，如在电子商务网站对客户数据进行分析。列式存储也用于处理高性能计算，如大型会议的安排，可以加快查询的速度。列式存储用于处理报表数据，可用于分析客户行为，以帮助企业作出明智的决策。 | -行式存储通常用于存放客户资料，以便更容易地更新和管理客户数据。行式存储还可以用于将新信息添加到现有表中。 |
