这是我参与「第五届青训营」伴学笔记创作活动的第17天
主要内容
-
- 什么是分布式事务
-
- 分布式的具体实践
-
- 分布式的共识协议
分布式事务
分布式事务又具体分为二阶段提交和三阶段提交。
二阶段提交
- 二阶段提交(two-phase Commit):是一种基于分布式系统架构的算法，其设计目的是让所有节点在事务提交时保持一致性。
两阶段提交需解决的问题：
- 性能问题
需要多次网络通信，资源需要等待并锁定
- Commit阶段网络分区带来的数据不一致
非所有节点都收到Commit请求
- 新协调者
如何确定状态选出新协调者
三阶段提交
概念：为了补充两阶段提交，两阶段提交的Prepare阶段分为两个部分:CanCommit和PreCommit机制
-
解决了以下问题
- 超时机制
- 阻塞问题
- 单点故障问题
具体实践
MapReduce
- mapper:将输入分解为多个任务进行并行处理。彼此几乎没有依赖关系
- shuffler:混合maper结果，防止数据倾斜
- reducer:对map阶段的结果进行全局统计
容灾
参数错误，中央节点重新开始调度，新参数重新开始工作
重新启动reducer故障的mapper，费用很高
共识协议
NWR模型：
- N:分布式存储备份数据的份数
- W:表示一次成功的更新动作至少需要写入W条数据。
- R:每读取一次数据，至少需要读取R个数据。
- 为了保证这里的一致性，需要保证W+R>N。
Quorum NWR模型是一致性模型的简化版本，它将CAP的选择交给用户
RAFT协议
- Raft协议是一种分布式一致性算法(共识算法)，即使出现部分节点故障和网络延迟也不影响节点，从而提高了系统的整体可用性
- Raft是一种广泛使用的分布式协议。
- 在某种程度上，Raft协议也使用Quorum
总结
分布式是当前比较热门的一个方向，主要作用是把一个非常庞大的功能体分割成许多小的部分，然后再讲这些小的部分分配的一个过程，最后合并起来得到最终的结果。这种知识不能光靠我们看和理解，要实践到一个完整的项目上，才能获得真证的理解和领悟。
