这是我参与「第五届青训营 」伴学笔记创作活动的第 8 天

什么是分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

分布式的优势

1. 去中心化
2. 低成本
3. 弹性
4. 资源共享
5. 可靠性高

分布式的挑战

1. 普遍的节点故障
2. 不可靠的网络
3. 异构的机器与硬件环境
4. 安全

常见的分布式系统

• 分布式存储
• • 1.Google File System (GFS):google分布式文件系统
• • 2.Ceph： 统一的分布式存储系统
• • 3.Hadoop HDFS： 基于GFS架构的开源分布式文件系统
• • 4.Zookeeper：高可用的分布式数据管理与系统协调框架
• 分布式数据库
• • 1.Google Spanner：google可扩展的、全球分布式的数据库
• • 2.TiDB:开源分布式关系型数据库
• • 3.HBase:开源Nosql数据库
• • 4.MongoDB:文档数据库
• 分布式计算
• • 1.Hadoop:基于MapReduce分布式计算框架
• • 2.Spark：在Hadoop基础之上，使用内存来存储数据
• • 3.YARN：分布式资源调度

故障模型

• Byzantize failure：节点可以任意篡改发送给其他节点的数据。
• Authentication detectable byzantine failure（ADB）：Byzantine failure的特例；节点可以篡改数据，但不能伪造其他节点的数据。
• Performance faolure：节点未在特定时间段内收到数据，即时间太早或太晚。
• Omission failure：节点收到数据的时间无限晚，即收不到数据。
• Crash failure:在omission failure的基础上，增加了节点停止响应的假设，也持续性地omission failure。
• Fail-stop failure: 在Crash failure的基础上增加了错误可检测的假设。
• 在解决问题的难度上说，从上到下依次容易解决。

CAP理论

CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向。

ACID理论

事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中所有操作要么全部执行，要么全都不执行。数据库事务拥有四个特性ACID，即分别是原子性、一致性、隔离性和持久性。

BASE理论

Base理论是对CAP中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来的。

三阶段提交 VS 两阶段提交

• 将两阶段提交中的Prepare阶段，拆成两部分：CanCommit和PreCommit机制
• 解决了两个问题：
• 1. 单点故障问题
• 2. 阻塞问题
• 另外引入超时机制，在等待超时之后，会继续进行事务的提交

MVCC

MVCC是一种并发控制的方法，维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。MVCC为每个修改保存一个版本，和事务的时间戳相关联。可以提高并发性能，解决脏读的问题。

Quorum NWR三要素

• N：在分布式存储系统中，有什么备份数据。
• W：代表一次成功的更新操作要求至少有w份数据写入成功。
• R：代表一次成功的读数据操作要求至少有R份数据成功读取。

RAFT协议

Raft协议是一种分布式一致性算法（共识算法），即使出现部分节点故障，网络延时等情况，也不影响各节点，进而提高系统的整体可用性。Raft是使用较为广泛的分布式协议。一定意义上讲，RAFT也使用了Quorum机制。

Paxos协议

• Paxos优势：写入并发性能高，所有节点都能写入。
• Paxos劣势：没有一个节点有完整的最新的数据，恢复流程复杂，需要同步历史记录。

总结

这节课程讲述的内容比较多，理论知识比较广泛。对于基础的理论知识在听课时理解起来很容易，也了解了分布式的大体知识。但到了共识协议和分布式实践那块听起来就很费劲，有些不明白。只是对于这些部分有了点了解。