这是我参与「第四届青训营 」笔记创作活动的第4天
- 计算/存储引擎：Flink、Spark、ClickHouse、Doris、Kafka、Hive...
- 数据集成：业务数据收集(数据库CDC、业务日志等)、Flink Connector体系
- 数据治理：数据质量、数据安全、数据生命周期...
- 数据开发：大数据开发工具套件、发布运维工具、元数据管理工具...
1.Lamda架构简介
Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算，融合不可变性（Immunability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组
2.Lambda架构关键特性
- Robust and fault-tolerant（容错性和鲁棒性）：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有一些Bug，系统必须对有Bug的程序写入的错误数据有足够的适应能力，所以比机器容错性更加重要的容错性是人为操作容错性。对于大规模的分布式系统来说，人和机器的错误每天都可能会发生，如何应对人和机器的错误，让系统能够从错误中快速恢复尤其重要。
- Low latency reads and updates（低延时）：很多应用对于读和写操作的延时要求非常高，要求对更新和查询的响应是低延时的。
- Scalable（横向扩容）：当数据量/负载增大时，可扩展性的系统通过增加更多的机器资源来维持性能。也就是常说的系统需要线性可扩展，通常采用scale out（通过增加机器的个数）而不是scale up（通过增强机器的性能）。
- General（通用性）：系统需要能够适应广泛的应用，包括金融领域、社交网络、电子商务数据分析等。
- Extensible（可扩展）：需要增加新功能、新特性时，可扩展的系统能以最小的开发代价来增加新功能。
- Allows ad hoc queries（方便查询）：数据中蕴含有价值，需要能够方便、快速的查询出所需要的数据。
- Minimal maintenance（易于维护）：系统要想做到易于维护，其关键是控制其复杂性，越是复杂的系统越容易出错、越难维护。
- Debuggable（易调试）：当出问题时，系统需要有足够的信息来调试错误，找到问题的根源。其关键是能够追根溯源到每个数据生成点。
3.Lambda的三层架构
Lambda架构通过分解的三层架构来解决该问题：Batch Layer，Speed Layer和Serving Layer。
4.OLAP引擎：ClickHouse、Doris
Doris更优的方面
- 使用更简单，如建表更简单，SQL标准支持更好， Join性能更好，导数功能更强大
- 运维更简单，如灵活的扩缩容能力，故障节点自动恢复，社区提供的支持更好
- 分布式更强，支持事务和幂等性导数，物化视图自动聚合，查询自动路由，全面元数据管理
ClickHouse更优的方面
- 性能更佳，导入性能和单表查询性能更好，同时可靠性更好
- 功能丰富，非常多的表引擎，更多类型和函数支持，更好的聚合函数以及庞大的优化参数选项
- 集群管理工具更多，更好多租户和配额管理，灵活的集群管理，方便的集群间迁移工具
个人总结：这节课主要学习了实时数据中心建设思路与企业实践，其中对ClickHouse、Doris进行了对比，Doris源自在线广告系统，偏交易系统数据分析；ClickHouse起源于网站流量分析服务，偏互联网数据分析，但是这两类场景这两个引擎都可以覆盖。如果说两者不那么强的地方，ClickHouse的问题是使用门槛高、运维成本高和分布式能力太弱，需要较多的定制化和较深的技术实力，Doris的问题是性能差一些可靠性差一些
