这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天

简介

分布式计算机程序的集合

优势：去中心化，低成本，弹性，资源共享，可靠性高

挑战：普遍的节点故障，不可靠的网络，异构的机器与硬件环境，安全

常见分布式系统

• 分布式存储：GFS、Ceph、HDFS、Zookeeper
• 分布式数据库：Spanner、TiDB、HBase、MangoDB
• 分布式计算：Hadoop、YARN、Spark

故障模型

• Byzantine failure：节点可以任意篡改发送给其他节点的数据，是最难处理的故障
• Authentication detectable byzantine failure (ADB)：节点可以篡改数据，但不能伪造其他节点的数据
• Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚
• Omission failure：节点收到数据的时间无限晚，即收不到数据
• Crash failure：节点停止响应，持续性的故障
• Fail-stop failure：错误可检测，是最容易处理的故障

拜占庭将军问题

两将军问题

无解，理论上永远无法达成共识；TCP三次握手在2个方向确认包的序列号，增加了超时重试，是两将军问题的一个工程解。

• 方案1，多个信使
• 方案2，设置超时时间

（即使保证了消息传递的成功，也不能保证达成共识）

拜占庭将军问题

当有3m+1个将军，其中m个叛徒时，可以增加m轮协商，最终达成一致

共识和一致性

• 不同客户端A和B看到客户端C写入，因为时机的不同，产生数据读取的偏差。引导出最终一致性的详细说明
• 要保证所有客户端看到相同的值，需要多节点进行“协商”，达成共识，来保证线性一致性
• 一致性和可用性是对矛盾

理论

CAP

一致性，可用性，分区容错性

• CA系统：传统数据库的代表
• AP系统：放弃强一致性，保证高可用，不少nosql存储系统采用
• CP系统：放弃可用性，保证数据一致性

ACID

• 原子性：要么全部成功，要么全部失败回滚
• 一致性：一个事务执行之前和执行之后必须处于一致性状态
• 隔离性：并发访问数据库时，数据库为每一个用户开启的事务不能被其他事务干扰
• 持久性：一个事务一旦提交，对于数据库中数据的改变时永久性的

BASE理论

关于AP系统（放弃一致性）

• 基本可用
• 软状态：允许出现数据中间状态

分布式事务

二阶段提交

使基于分布式系统架构下所有的节点在进行事务提交时保持一致性而设计的一种算法

三个假设

• 协调者和参与者进行通信
• 写式日志被保持在可靠的存储设备上
• 所有节点不会永久性损坏，即使损坏后仍然可以恢复

问题

• 性能问题
• 协调者单点故障问题
• 网络分区带来数据不一致

三阶段提交

将两阶段提交中的prepare阶段，拆分为canCommit和Precommit机制

优点

• 解决单点故障
• 解决阻塞

MVCC

• 悲观锁：操作数据时将数据锁住，直到操作完成，上锁期间其他人不能修改数据
• 乐观锁：不会上锁，旨在执行更新时判断别人是否修改数据，只有冲突时才放弃操作
• MVCC：多版本控制，为每个修改保存一个版本，和事务的时间戳有关（fabric中用的就是该版本控制），可以提高并发性能，解决脏读的问题；

时间同步方案：

• TrueTime API
• 时间戳预言机（TSO），采用中心化的授权方式

共识协议

Quorum NWR模型

三要素

• N：在分布式存储系统中，有多少份备份数据
• W：代表一次成功的更新操作要求至少有w份数据写入成功
• R：代表一次成功的读数据操作要求至少有R份数据成功读取

保证强一致性，需要保证W+R>N

RAFT（fabric中用到的）

分布式一致性算法，即使出现部分节点故障，网络延时等情况，也不影响各节点，进而提高系统的整体可用性。

三种角色

• Leader：处理所有的客户端请求，并向Follower同步请求日志，当日志同步到大多数节点上后，通知Follower提交日志
• Follower：接受并持久化Leader同步的日志，在Leader告知日志可以提交后，提交日志
• Candidate：Leader选举过程中的临时角色。向其他节点发送请求投票信息

四种定义

• Log（日志）：节点之间同步的信息，以只追加写的方式进行同步，解决了数据被覆盖的问题
• Term（任期号）：单调递增，每个Term内最多只有一个Leader
• Committed：日志被复制到多数派节点，即可认为已经被提交
• Applied：日志被应用到本地状态机：执行了log中命令，修改了内存状态

Paxos协议

区别RAFT

• 可以并发修改日志，raft写日志必须连续
• 随机选主，不必最新最全的节点当选leader

课后习题

分布式系统有哪些优势和挑战？ 两将军问题为什么理论上永远达不成共识？ 为什么TCP采用三次握手？而不是两次和四次？ 为什么在4将军问题中，增加1轮协商就可以对抗拜占庭故障？ 什么是最终一致性？什么是线性一致性？ CAP理论中，请举例说明可用性和一致性的矛盾？ 数据库里的一致性和分布式系统中的一致性有什么区别？ 两阶段提交中，什么场景需要数据库管理员介入？ 三阶段提交缓和两阶段提交的哪两个问题？ 什么场景适合乐观锁？什么场景适合悲观锁？ 在共识协议中，为什么说允许数据被覆盖会带来数据一致性问题？ RAFT协议中，Leader写成功日志Log20但未同步给Followers后宕机，Follower重新选举后产生一条新日志Log20，这时Leader重启，整个系统发现两种不一样的Log20的记录，请问如何区分并拒掉前面的Log20？ RAFT协议中，Stale读是如何产生的？该如何解决Stale读的问题？