这是我参与[第五届青训营]伴学笔记创作活动的第3天
一、分布式概述
1、分布式的定义
分布式是计算机程序的集合，这些 程序利用跨多个独立计算节点的计算资源来实现共同的目标。
2、分布式的优势
去中心化、低成本、弹性、资源共享、可靠性高
3、分布式的挑战
普遍的节点故障、不可靠的网络、异构的机器与硬件环境、安全
4、常见的分布式系统
分布式存储：GFS、Ceph、HDFS、Zookerper
分布式数据库：Spanner、TiDB、HBase、MangoDB
分布式计算：Hadoop、YARN、Spark
二、系统模型
1、故障模型
Byzantine failure:节点可以任意篡改发送给其它节点的数据，是最难处理的故障
Authentication detectable byzantine failure(ADB):节点可以篡改数据，但不能伪造其它节点的数据
Performance failure:节点未在特定时间段内收到数据，即时间太早或太晚
Omission failure:节点收到数据的时间无限晚，即收不到数据
Crash failure:节点停止响应，持续性的故障
Fail - stop failure:错误可检测，是最容易处理的故障
2、拜占庭将军问题
1）两将军问题
定义：两支军队的将军只能派信使穿越地方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派 出的任何信使都可能被俘虏的情况下，就进攻时间达成共识
结论：两将军问题是被证实无解的电脑通信问题，两支军队理论上永远无法达成共识
但是在实战中，由于TCP的三次握手是在两个方向确认包的序列号，增加了超时重试，是该问题的一个工程解
2）三将军问题&四件将军问题
定义：两个”忠将“A和B，一个“叛徒”C，互相传递信息。
结论：由于“叛徒”C的存在，将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息，将军B获得1票 进攻2 票撤退的信息，产生了不一致
增加一个将军D，并将其作为消息分发的中枢，约定没有收到消息则撤退
结论：如果D为“叛徒”，ABC无论收到任何消息，总能达成一致；D为“忠将”，ABC有2人将D的消息进行正确的传 递，同样能保证最终决策符合大多数。进而能够证明，当有3m+1个将军，m个“叛徒”时，可以进行m论协商，最终达 成一致
3、共识和一致性
1）最终一致性
客户端读到x=0,当客户端C正在写入时，客户端A和B可能读到0或者1.当时当C写入完成后，A和B最终能读到一致的 数据。
2）线性一致性
当客户端A读到更新的版本x=1后，及时将消息同步给其他客户端，这样其他客户端立即能获取到x=1。
三、理论基础
1、CAP理论
C：consistence，一致性，指数据在多个副本之间能够保持一致的特性（严格的一致性）
A：availability，可用性，指系统提供的服务必须一直处于可用的状态，每次请求都能获取到非错的响应——但是不保 证获取的数据为最新数据
P：Network partitioning，分区容错性，分布式系统在遇到任何网络分区故障时，仍然能够对外提供满足一致性和可用 性的服务，除非整个网络环境都发生了故障
2、CAP理论的应用
CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向
注：一致性、可用性、分区容错性三者无法同时达到
CA：放弃分区容错性，加强一致性和可用性。例如传统的单机数据库
AP：放弃一致性（指强一致性），追求分区容错性和可用性，例如一些注重客户体验的系统
CP：放弃可用性，追求一致性和分区容错性，例如与钱财安全相关的系统
3、ACID理论
事务的定义：数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都 不执行
数据库事务拥有四个特性ACID
原子性A：原子性是指事物包含的所有操作要么全部成功，要么全部失败回滚
一致性C：一致性是指事物必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执 行之后都必须处于一致性
隔离性I：隔离性是当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其它事务的操作所干扰， 多个并发事务之间要相互隔离
持久性D：持久性时是指一个事务一旦被提交，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到 故障的情况下也不会丢失提交事务的操作
注：ACID理论时针对CA系统而言的。
4、BASE理论
BASE理论是针对AP系统而言的，其来源主要是对大型互联网分布式实践的总结
Basically Available（基本可用）：假设系统出现不可预知的故障，但还是能用
Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性
Eventually consistent（最终一致性）：数据最终一定能够达到一致的状态
四、分布式事务
1、二阶段提交
定义：为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种演算法
三个假设
1）引入协调者（Coordinator）和参与者（Participants），互相进行网络通信
2）所有节点都采用预写式日志，且日志被写入后即被保持在可靠的存储设备上
3）所有节点不会永久损坏，即使损坏后仍然可以恢复
可能出现的情况：
1）Coordinator不宕机，Participant宕机。需要进行回滚操作
2）Coordinator宕机，Participant不宕机。可以选用新的协调者，待查询状态后，重复二阶段提交
3）Coordinator宕机，Participant宕机。有序无法确定状态，需要数据库管理员进入，防止数据库进入不一致的状态
二阶段提交需要注意的问题
1）性能问题：二阶段提交需要多次节点间的网络通信，耗时过大，资源需要重新进行锁定，徒增资源等待时间
2）协调者单点故障问题：如果事务协调点宕机，需要另起新协调者，否则参与者处于中间状态无法完成事务
3）网络分区带来的数据不一致：一部分参与者收到了Commit消息，另一部分参与者没收到Commit消息，会导致了节 点之间数据不一致
2、三阶段提交
定义：将两阶段提交中的Prepare阶段拆分为CanCommit和PreCommit机制
解决单点故障问题和阻塞问题这两个问题
CanCommit阶段：询问是否可以执行
PreCommit阶段：重新确认是否可以执行
DoCommit阶段：向所有人提交事务
3、MVCC
定义：多版本并发控制的方法。维持一个数据的多版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。提高并 发性能的同时也解决了脏读的问题
悲观锁：操作数据时直接把数据锁住，直到操作完成后才会释放锁；上锁期间其他人不能修改数据
乐观锁：不会上锁，只是在执行更新时判断别人是否修改数据，只有冲突时才放弃操作
五、共识协议
1、Quorum NWR模型
Quorum NWR三要素
N：在分布式存储系统中，有多少份备份数据
W：代表一次成功的更新操作要求至少有w份数据写入成功
R：代表一次成功的读数据操作要求至少有R份数据成功读取
注：为了保证强一致性，需要保证W+R>N
2、RAFT协议
1）定义
Raft协议是一种分布式一致性算法，即使出现部分节点故障，网络延时等情况，也不影响各节点，进而提高系统 的整 体可用性。Raft是使用较为广泛的分布式协议。一定意义上讲，RAFT也使用Quorum机制
Leader：领导者，通常一个系统中是一主（leader）多从（Follower）。Leader负责处理所有的客户端请求，并向 Follower同步请求日志，当日志同步到大多数节点伤后，通知Follower提交日志
Follower：跟随者，不会发送任何请求。接收并持久化Leader同步的日志，在Leader告知日志可以提交后，提交日志。 当Leader出现故障时，主动推荐自己为Candidate
Candidate：备选者，Leader选举过程中的临时角色。向其他节点发送请求投票信息。如果获得大多数选票，则晋升为 Leader。
2）相关名词
Log（日志）：节点之间同步的信息，以只追加写的方式进行同步，解决了数据被覆盖的问题
Term（任期号）：单调递增，每个Term内最多只有一个Leader
Committed：日志被复制到多数派节点，即可被认为已经被提交
Applied：日志被应用到本地状态机：执行了log中命令，修改了内存状态
3、Leader选举过程：
1）初始全为Follower
2）Current Term+1
3）选举自己
4）向其他参与者发起ReqestVote请求，retry直到
- 收到多数派请求，成为Leader，并发送心跳
- 收到其它Leader的请求，转为Follower，更新自己的Term
- 收到部分，但未达到多数派，选举超时，随机timeout开始下一轮
两个规则：
- 在一个任期内每个参与者最多投一票（持久化）
- 要成为Leader，必须拿到多数投票
4、Log Replication过程
新Leader产生，Leader和Follower不同步，Leader强制覆盖Follower的不同步日志
1）Leader收到写请求w
2）将w写入本地log
3）向其它Fllower发起AppendEntries RPC
4）等待多数派回复
- 更新本地状态机，返回给客户端
- 下一个心跳通知Follower上一个Log已经被Committed了
- Follower也根据命令应用本地状态机
5）Follower有问题，Leader一直retry
5、切主
当Leader出现问题时，就需要进行重新选举
1）Leader发现事务Follower的响应，失去Leader身份
2）两个Follower之间一段时间未收到心跳，需要进行选举，选举出新Leader，此时发生切主
3）Leader自杀重启，以Follower的身份加入进来
6、Paxos算法和RAFT算法的区别
Multi-paxos可以并发修改日志，二Raft写日志操作必须时连续的
Multi-paxos可以随机择主，不必最新最全的节点当选Leader
六、分布式实践
1、设计一个MapReduce系统
2、设计一个分布式键值系统
