这是我参与「第五届青训营」笔记创作活动的第11天。

学习内容

今天学习了分布式系统的概念，系统模型以及基本理论。

分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

• 优势：
  • 去中心化
  • 低成本
  • 弹性
  • 资源共享
  • 可靠性高
• 挑战：
  • 普遍的节点故障
  • 不可靠的网络
  • 异构的机器与硬件环境
  • 安全

常见的分布式系统

• 分布式存储：
  • Google File System (GFS)：google分布式文件系统
  • Ceph：统一的分布式存储系统
  • Hadoop HDFS：基于GFS架构的开源分布式文件系统
  • Zookeeper：高可用的分布式数据管理与系统协调框架
• 分布式数据库：
  • Google Spanner：google可扩展的、全球分布式的数据库
  • TiDB：开源分布式关系型数据库
  • HBase：开源Nosql数据库
  • MongoDB：文档数据库
• 分布式计算：
  • Hadoop：基于MapReduce分布式计算框架
  • Spark：在Hadoop基础之上，使用内存来存储数据
  • YARN：分布式资源调度

系统模型

故障模型

• 六种故障模型，从处理的难易程度分类
  • Byzantine failure：节点可以任意篡改发送给其他节点的数据，是最难处理的故障；
  • Authentication detectable byzantine failure (ADB)：节点可以篡改数据，但不能伪造其他节点的数据；
  • Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚；
  • Omission failure：节点收到数据的时间无限晚，即收不到数据；
  • Crash failure：节点停止响应，持续性的故障；
  • Fail-stop failure：错误可检测，是最容易处理的故障。

- 故障模型举例，按照模型分类

拜占庭将军问题

• 两将军问题
  • 两支军队的将军只能派信使穿越敌方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下，就进攻时间达成共识。
  • 两将军问题是被证实无解的电脑通信问题，两支军队理论上永远无法达成共识。
  • TCP三次握手是在两个方向确认包的序列号，增加了超时重试，是两将军问题的一个工程解。

• 三将军问题：
  • 两个“忠将”A和B，一个“叛徒”C，互相传递消息，消息可能丢失，也可能被篡改，当有一个将军是“叛徒”（即出现拜占庭故障）时，整个系统无法达成一致。
  • 由于“叛徒”C的存在，将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息，将军B获得1票进攻2票撤退的信息，产生了不一致

• 四将军问题：
  • 将军D作为消息分发中枢，约定如果没收到消息则执行撤退
  • 步骤：
    • 如果D为“叛徒”，ABC无论收到任何消息，总能达成一致
    • D为“忠将”，ABC有2人将D的消息进行正确的传递，同样能保证最终决策符合大多数。
  • 进而能够证明，当有3m+1个将军，m个“叛徒”时，可以进行m轮协商，最终达成一致

共识和一致性

• 不同客户端A和B看到客户端C写入，因为时机的不同，产生数据读取的偏差，但当C写入完成时，A和B最终能读到一致的数据，称为最终一致性。

• 要保证所有客户端看到相同的值，需要多节点进行“协商”，达成共识，来保证线性一致性（强一致性）

• 一致性和可用性是对矛盾

时间和事件顺序

• 定义了计算机系统中的时间和事件顺序，引入happened before和并发的定义，可以以此对分布式系统中的事件进行推导。
• Lamport逻辑时钟的概念，帮助在一系列分布式事件当中梳理出逻辑的先后关系。利用逻辑时钟，可以对整个系统中的事件进行全序排序。

基础理论

CAP理论

分别代表：

• 一致性：指数据在多个副本之间能够保持一致的特性（严格的一致性)。
• 可用性：指系统提供的服务必须一直处于可用的状态，每次请求都能获取到非错的响应，但不保证获取的数据为最新数据。
• 分区容错性：分布式系统在遇到任何网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务，除非整个网络环境都发生了故障。

三者无法同时达到。

• CAP诞生了三类系统：
  • CA系统：传统单机数据库的代表
  • AP系统：放弃强一致性，保证高可用，一些nosql存储系统等注重用户体验的系统采用
  • CP系统：放弃可用性，保证数据一致性和分区容错性，与钱财安全相关的系统采用

ACID理论

• ACID理论是针对CA系统而言的，通常在数据库中具有广泛意义
• 事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行
• 事务拥有四个特性ACID：
  • 原子性（Atomicity）：原子性是指事务包含的所有操作要么全部成功，要么全部回滚；
  • 一致性（Consistency）：指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态；
  • 隔离性（Isolation）：当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离；
  • 持久性（Durability）：一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作。

BASE理论

BASE理论是针对AP系统而言的，其来源于对大型互联网分布式实践的总结，核心思想：

• Basically Available(基本可用)：假设系统，出现了不可预知的故障，但还是能用；
• Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性；
• Eventually consistent（最终一致性）：数据最终一定能够达到一致的状态。