这是我参与「第五届青训营 」伴学笔记创作活动的第11天。
0、重点
- 分布式(下)
1、分布式事务
1.1 二阶段提交
二阶段提交(Two-phase Commit):为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种演算法。
三个假设:
1.引入协调者(Coordinator)和参与者(Participants),互相进行网络通信
2.所有节点都采用预写式日志,且日志被写入后即被保持在可靠的存储设备上
3.所有节点不会永久性损坏,即使损坏后仍然可以恢复
可能出现的情况:
情况1)Coordinator不宕机,Participant宕机。如下图所示,需要进行回滚操作
情况2)Coordinator宕机,Participant不宕机。可以起新的协调者,待查询状态后,重复二阶段提交
情况3)Coordinator宕机,Participant宕机。
回滚:在Prepare阶段,如果某个事务参与者反馈失败消息,说明该节点的本地事务执行不成功,必须回滚。
情况3:无法确认状态,需要数据库管理员的介入,防止数据库进入一个不一致的状态。
两阶段提交需注意的问题:
1.性能问题
两阶段提交需要多次节点间的网络通信,耗时过大,资源需要进行锁定,徒增资源等待时间。
2.协调者单点故障问题
如果事务协调者节点宕机,需要另起新的协调者,否则参与者处于中间状态无法完成事务。
3.网络分区带来的数据不一致
一部分参与者收到了Commit消息,另一部分参与者没收到Commit消息,会导致了节点之间数据不一致。
1.2 三阶段提交
三阶段提交VS两阶段提交
将两阶段提交中的Prepare阶段,拆成两部分:
CanCommit和 PreCommit机制
解决了两个问题:
1.单点故障问题
2.阻塞问题
另外引入超时机制,在等待超时之后,会继续进行事务的提交。
-
三阶段缓和了两阶段面临的问题,但依然没有解决:
1.性能问题
2.网络分区场景带来的数据一致性问题
1.3 MVCC
MVCC是一种并发控制的方法,维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写,也不阻塞读。MVCC为每个修改保存一个版本,和事务的时间戳相关联。可以提高并发性能,解决脏读的问题。
另外一种时间戳的实现:时间戳预言机(TSO),采用中心化的授时方式,所有协调者向中心化节点获取时钟。优点是算法简单,实现方便,但需要每个节点都与他进行交互,会产生一些网络通信的成本。TSO的授时中就需要考虑低延迟,高性能以及更好的容错性。
2、共识协议
2.1 Quorum NWR模型
Quorum NWR三要素
- N:在分布式存储系统中,有多少份备份数据
- W:代表一次成功的更新操作要求至少有w份数据写入成功
- R:代表一次成功的读数据操作要求至少有R份数据成功读取
为了保证强一致性,需要保证W十R>N
Quorum NWR模型将CAP的选择交给用户,是一种简化版的一致性模型。
-
思考:
- 引起的并发更新问题
- 读者如果读到副本1和副本2,得出v=3的结论
- 如果读到副本2和副本3,得出v=2的结论
-
问题根源:允许数据被覆盖
2.2 RAFT 协议
RAFT协议是一种分布式一致性算法(共识算法),即使出现部分节点故障,网络延时等情况,也不影响各节点,进而提高系统的整体可用性。Raft是使用较为广泛的分布式协议。一定意义上讲,RAFT也使用了Quorum机制。
-
Leader-领导者,通常一个系统中是一主(Leader)多从(Follower)。Leader 负责处理所有的客户端请求,并向Follower同步请求日志,当日志同步到大多数节点上后,通知Follower提交日志。
-
Follower-跟随者,不会发送任何请求。接受并持久化Leader同步的日志,在Leader告知日志可以提交后,提交日志。当Leader出现故障时,主动推荐自己为Candidate。
-
Candidate -备选者,Leader选举过程中的临时角色。向其他节点发送请求投票信息。如果获得大多数选票,则晋升为Leader。
Log(日志):节点之间同步的信息,以只追加写的方式进行同步,解决了数据被覆盖的问题
Term(任期号):单调递增,每个Term内最多只有一个Leader
Committed:日志被复制到多数派节点,即可认为已经被提交
Applied:日志被应用到本地状态机:执行了log中命令,修改了内存状态
2.3 Paxos协议
Paxos算法与RAFT算法区别:
1.Multi-Paxos可以并发修改日志,而Raft写日志操作必须是连续的
2. Multi-Paxos可以随机选主,不必最新最全的节点当选Leader
Paxos优势:写入并发性能高,所有节点都能写入
Paxos劣势:没有一个节点有完整的最新的数据,恢复流程(n,value)到所有节点 复杂,需要同步历史记录