这是我参与[第五届青训营]伴学笔记创作活动的第 8 天

分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

优势: 1.去中心化 2.低成本 3.弹性 4.资源共享 5.可靠性高

挑战: 1.普遍的节点故障 2.不可靠的网络 3.异构的机器与硬件环境 4.安全

常见的分布式系统

分布式存储

Google File System ( GFS ) : google分布式文件系统
Ceph :统一的分布式存储系统
Hadoop HDFS:基于GFS架构的开源分布式文件系统
Zookeeper :高可用的分布式数据管理与系统协调框架

分布式数据库

Google Spanner : google可扩展的、全球分布式的数据库
TiDB:开源分布式关系型数据库
HBase :开源Nosql数据库
MongoDB:文档数据库

分布式计算

Hadoop :基于MapReduce分布式计算框架
Spark : 在Hadoop基础之上，使用内存来存储数据
YARN:分布式资源调度

故障模型

Byzantine failure :节点可以任意篡改发送给其他节点的数据
Authentication detectable byzantine failure (ADB):Byzantine failure的特例;节点可以篡改数据，但不能伪造其他节点的数据
Performance failure :节点未在特定时间段内收到数据，即时间太早或太晚
Omission failure :节点收到数据的时间无限晚，即收不到数据
Crash failure :在omission failure的基础上，增加了节点停止响应的假设，也即持续性地omission failure
Fail-stop failure :在Crash failure的基础上增加了错误可检测的假设

CAP理论

C(Consistence)：一致性

A(Availability)：可用性

P(Network partitioning)：分区容错性

CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向

CA:放弃分区容错性，加强一致性和可用性，其实就是传统的单机数据库的选择

AP:放弃一致性（这里说的一致性是强一致性），追求分区容错性和可用性，例如一些注重用户体验的系统

CP:放弃可用性，追求一致性和分区容错性，例如与钱财安全相关的系统

ACID理论（AC系统）

数据库事务拥有四个特性ACID，即分别是原子性(Atomicity)、一致性(Consistency)、隔离性( lsolation )和持久性(Durability )

BASE理论（AP系统）

Basically Available(基本可用)∶假设系统，出现了不可预知的故障，但还是能用，Basically Available(基本可用)∶假设系统，出现了不可预知的故障，但还是能用，相比较正常的系统而言:响应时间上的损失，或功能上的损失
Soft state ( 软状态）︰允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性，即允许系统在多个不同节点的数据副本存在数据延时。
Eventually consistent(最终一致性）︰系统能够保证在没有其他新的更新操作的情况下，数据最终一定能够达到一致的状态，因此所有客户端对系统的数据访问最终都能够获取到最新的值。

分布式事务

二阶段提交

二阶段提交(Two-phase Commit ) :为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种演算法。

三个假设︰

引入协调者( Coordinator)和参与者( Participants)，互相进行网络通信
所有节点都采用预写式日志，且日志被写入后即被保持在可靠的存储设备上
所有节点不会永久性损坏，即使损坏后仍然可以恢复

两阶段提交需注意的问题:

性能问题：两阶段提交需要多次节点间的网络通信，耗时过大，资源需要进行锁定，徒增资源等待时间
协调者单点故障问题：如果事务协调者节点宕机，需要另起新的协调者，否则参与者处于中间状态无法完成事务
网络分区带来的数据不一致：一部分参与者收到了Commit消息，另一部分参与者没收到Commit消息，会导致了节点之间数据不一致

三阶段提交

将两阶段提交中的Prepare阶段，拆成两部分:CanCommit和PreCommit机制

解决了两个问题:

单点故障问题
阻塞问题

另外引入超时机制，在等待超时之后，会继续进行事务的提交。

MVCC

悲观锁︰操作数据时直接把数据锁住，直到操作完成后才会释放锁;上锁期间其他人不能修改数据

乐观锁:不会上锁，只是在执行更新时判断别人是否修改数据，只有冲突时才放弃操作

MVCC是一种并发控制的方法，维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。MVCC为每个修改保存一个版本，和事务的时间戳相关联。可以提高并发性能，解决脏读的问题。

Quorum NWR模型

Quorum NWR三要素

N:在分布式存储系统中，有多少份备份数据
W∶代表一次成功的更新操作要求至少有w份数据写入成功
R:代表一次成功的读数据操作要求至少有R份数据成功读取

为了保证强一致性，需要保证W+R>N

RAFT协议

Raft协议是一种分布式一致性算法（共识算法），即使出现部分节点故障，网络延时等情况，也不影响各节点，进而提高系统的整体可用性。Raft是使用较为广泛的分布式协议。一定意义上讲，RAFT也使用了Quorum机制。

Leader -领导者，通常一个系统中是一主( Leader )多从( Follower )。Leader负责处理所有的客户端请求，并向Follower同步请求日志，当日志同步到大多数节点上后，通知Follower提交日志。

Follower-跟随者，不会发送任何请求。接受并持久化Leader同步的日志，在Leader告知日志可以提交后，提交日志。当Leader出现故障时，主动推荐自己为Candidate。

Candidate-备选者，Leader选举过程中的临时角色。向其他节点发送请求投票信息。如果获得大多数选票，则晋升为Leader。

Log (日志)∶节点之间同步的信息，以只追加写的方式进行同步，解决了数据被覆盖的问题

Term(任期号)单调递增，每个Term内最多只有一个Leader

Committed :日志被复制到多数派节点，即可认为已经被提交

Applied:日志被应用到本地状态机∶执行了log中命令，修改了内存状态

Paxos协议

Paxos算法与RAFT算法区别:

Multi-PaxoS可以并发修改日志，而Raft写日志操作必须是连续的
Multi-Paxos可以随机选主，不必最新最全的节点当选Leader

Paxos优势:写入并发性能高，所有节点都能写入

Paxos劣势︰没有一个节点有完整的最新的数据，恢复流程复杂，需要同步历史记录

分布式理论|青训营笔记

分布式