这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天
1. 概述
- 什么是分布式？
分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。
优势:
- 去中心化
- 低成本
- 弹性：根据波峰波谷，自动扩缩容
- 资源共享：服务器之间共享资源
- 可靠性高：一台服务器的系统崩溃不会影响到其他的服务器
挑战:
-
节点常见故障:节点故障几乎每天都会发生
-
网络不可靠:网络基础设施存在传输、负载过大、信息丢失等问题
-
异构的机器和硬件环境:不同的机器具有不同的性能
-
安全性:开放系统的特性使得分布式计算机系统存在数据安全和共享的风险
常见的分布式系统：
- 分布式存储：GFS、Ceph、HDFS、Zookeeper
- 分布式数据库：Spanner、TiDB、HBase、MangoDB
- 分布式计算：Hadoop、YARN、Spark
2. 系统模型
故障模型
根据故障处理的难易程度来划分的(从难到易)
Byzantine failure：节点可以任意篡改发送给其他节点的数据，是最难处理的故障
Authentication detectable byzantine failure (ADB)：节点可以篡改数据，但不能伪造其他节点的数据
Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚
Omission failure：节点收到数据的时间无限晚，即收不到数据
Crash failure：节点停止响应，持续性的故障
Fail-stop failure：错误可检测，是最容易处理的故障
拜占庭将军问题
-
两将军问题
-
定义：
- 两支军队的将军只能派信使穿越敌方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下，就进攻时间达成共识
-
结论：
- 两将军问题是被证实无解的电脑通信问题，两支军队理论上永远无法达成共识
-
TCP是两将军问题的一个工程解
-
-
三将军问题:
- 两个“忠诚的将军”A和B，以及一个“叛徒”C，互相传递消息，消息可能会丢失，消息可能会被操纵，当一个将军是“叛徒”(即，有一个拜占庭故障)，整个系统无法达成一致
- 由于“叛徒”c，将军A和将军B得到不同的信息。因此，将军A得到2票进攻和1票撤退，将军B得到1票进攻和2票撤退，造成了不一致
-
四将军问题：
-
将军D作为消息分发中枢，约定如果没收到消息则执行撤退
-
步骤：
- 如果D为“叛徒”，ABC无论收到任何消息，总能达成一致
- D为“忠将”，ABC有2人将D的消息进行正确的传递，同样能保证最终决策符合大多数。
-
进而能够证明，当有3m+1个将军，m个“叛徒”时，可以进行m轮协商，最终达成一致
-
共识和一致性
- 不同的客户端A和客户端B从客户端C读取数据的时间不同。导致最终一致性的详细描述
- 为了确保所有客户端看到相同的值，需要多个节点进行“协商”，并达成一致，以保证线性一致性
- 一致性和可用性是矛盾的
时间和事件顺序
-
1978年Leslie Lamport发表《Time, Clocks, and the Ordering of Events in a Distributed System》
-
定义了计算机系统中的时间和事件顺序，引入happened before和并发的定义，可以以此对分布式系统中的事件进行推导
-
根据上述推导，创造了Lamport逻辑时钟的概念，这个概念在分布式理论中具有革命性的意义，帮助我们在一系列分布式事件当中梳理出逻辑的先后关系。利用逻辑时钟，我们可以对整个系统中的事件进行全序排序
-
