💌 这是我参与「第五届青训营」伴学笔记创作活动的第 9 天。
🧡 本堂课重点内容
- 分布式概述
- 系统模型
- 理论基础
- 分布式事务
- 共识协议
🧡 知识点介绍
分布式概述
💌 分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。常见的分布式系统可以分为分布式计算、分布式存储、分布式数据库等。
分布式存储
- Google File System ( GFS ) : Google 分布式文件系统。
- Ceph：统一的分布式存储系统。
- Hadoop HDFS：基于 GFS 架构的开源分布式文件系统。
- Zookeeper：高可用的分布式数据管理与系统协调框架。
分布式数据库
- Google Spanner：Google 可扩展的、全球分布式的数据库。
- TiDB：开源分布式关系型数据库。
- HBase：开源 Nosql 数据库。
- MongoDB：文档数据库。
分布式计算
- Hadoop：基于 MapReduce 分布式计算框架。
- Spark：在 Hadoop 基础之上，使用内存来存储数据。
- YARN：分布式资源调度。
系统模型
故障模型
- Byzantine failure：节点可以任意篡改发送给其他节点的数据，是最难处理的故障。
- Authentication detectable byzantine failure (ADB)：节点可以篡改数据，但不能伪造其他节点的数据。
- Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚。
- Omission failure：节点收到数据的时间无限晚，即收不到数据。
- Crash failure：节点停止响应，持续性的故障。
- Fail-stop failure：错误可检测，是最容易处理的故障。
拜占庭将军问题
- 两将军问题：两支军队的将军只能派信使穿越敌方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下，就进攻时间达成共识。两将军问题是被证实无解的电脑通信问题，两支军队理论上永远无法达成共识。TCP 是两将军问题的一个工程解。
- 三将军问题：两个“忠将”A和B，一个“叛徒”C，互相传递消息，消息可能丢失，也可能被篡改，当有一个将军是“叛徒”（即出现拜占庭故障）时，整个系统无法达成一致。由于“叛徒”C的存在，将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息，将军B获得1票进攻2票撤退的信息，产生了不一致。
- 四将军问题：将军D作为消息分发中枢，约定如果没收到消息则执行撤退。如果D为“叛徒”，ABC无论收到任何消息，总能达成一致。D为“忠将”，ABC有2人将D的消息进行正确的传递，同样能保证最终决策符合大多数。
💌 进而能够证明，当有3m+1个将军，m个“叛徒”时，可以进行m轮协商，最终达成一致。
共识和一致性
💌 不同客户端A和B看到客户端C写入，因为时机的不同，产生数据读取的偏差。引导出最终一致性的详细说明 要保证所有客户端看到相同的值，需要多节点进行“协商”，达成共识，来保证线性一致性。
理论基础
CAP
- CA系统：传统数据库的代表。
- AP系统：放弃强一致性，保证高可用，不少nosql存储系统采用。
- CP系统：放弃可用性，保证数据一致性。
ACID
💌 ACID理论是针对CA系统而言的。事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行。
- 原子性(A)：原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。
- 一致性(C)：一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态。
- 隔离性(I)：隔离性是当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离。
- 持久性(D)：持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作。
Base
💌 BASE理论是针对AP系统而言的。
- Basically Available（基本可用）：假设系统，出现了不可预知的故障，但还是能用。
- Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性。
- Eventually consistent（最终一致性）：数据最终一定能够达到一致的状态。
分布式事务
💌 二阶段提交：为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种演算法。分为Prepare阶段和Commit阶段。
💌 三阶段提交：针对两阶段提交的补充，将两阶段提交中的Prepare阶段，拆成两部分：CanCommit和PreCommit机制。
- CanCommit阶段：询问是否可以执行。
- PreCommit阶段：重新确认是否可以执行。
- DoCommit阶段：向所有人提交事务。
💌 MVCC：多版本并发控制的方法。维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。提高并发性能的同时也解决了脏读的问题。
共识协议
RAFT协议
💌 Raft协议是一种分布式一致性算法（共识算法），即使出现部分节点故障，网络延时等情况，也不影响各节点，进而提高系统的整体可用性。Raft是使用较为广泛的分布式协议。
- Leader领导者：Leader 负责处理所有的客户端请求，并向Follower同步请求日志，当日志同步到大多数节点上后，通知Follower提交日志。
- Follower跟随者：接受并持久化Leader同步的日志，在Leader告知日志可以提交后，提交日志。
- Candidate备选者：Leader选举过程中的临时角色，向其他节点发送请求投票信息。
