分布式理论 - 现代架构基石 | 青训营笔记

104 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天,主要讲了分布式的理论、系统模型、理论基础、分布式事务、共识协议、分布式实践等内容。

一、什么是分布式

分布式系统是计算机程序的集合,这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

优点: 1、去中心化。2、低成本。3、弹性。4、资源共享。5、可靠性高

面临的挑战: 1、普通的节点故障。2、不可靠的网络。3、异构的机器与硬件环境。4、安全。

二、故障模型

  1. Byzantine failure:节点可以任意篡改发送给其他节点的数据,是最难处理的故障
  2. Authentication detectable byzantine failure (ADB):节点可以篡改数据,但不能伪造其他节点的数据
  3. Performance failure:节点未在特定时间段内收到数据,即时间太早或太晚
  4. Omission failure:节点收到数据的时间无限晚,即收不到数据
  5. Crash failure:节点停止响应,持续性的故障
  6. Fail-stop failure:错误可检测,是最容易处理的故障

三、拜占庭将军问题

两将军问题

定义

两支军队的将军只能派信使穿越敌方领土互相通信,以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下,就进攻时间达成共识

结论

两将军问题是被证实无解的电脑通信问题,两支军队理论上永远无法达成共识

TCP 是两将军问题的一个工程解

三将军问题

  1. 两个“忠将”A和B,一个“叛徒”C,互相传递消息,消息可能丢失,也可能被篡改,当有一个将军是“叛徒”(即出现拜占庭故障)时,整个系统无法达成一致。
  2. 由于“叛徒”C的存在,将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息,将军B获得1票进攻2票撤退的信息,产生了不一致

四将军问题

  1. 将军D作为消息分发中枢,约定如果没收到消息则执行撤退
  2. 步骤:
    • 2.1 如果D为“叛徒”,ABC无论收到任何消息,总能达成一致
    • 2.2 D为“忠将”,ABC有2人将D的消息进行正确的传递,同样能保证最终决策符合大多数。
  3. 进而能够证明,当有3m+1个将军,m个“叛徒”时,可以进行m轮协商,最终达成一致

四、理论基础

1、CAP理论

1、CAP的定义,分别代表一致性、可用性、分区容错性。三者无法同时达到

2、CAP诞生了三类系统:

  • 2.1 CA系统:传统数据库的代表
  • 2.2 AP系统:放弃强一致性,保证高可用,不少nosql存储系统采用
  • 2.3 CP系统:放弃可用性,保证数据一致性

3、举例说明两个分布式进程之间同步数据,当出现故障的时候,如何选择不同的CAP系统,以及带来的影响

  • 3.1 CP系统:故障发生时,为了避免读到不一致的数据,可能拒绝访问
  • 3.2 AP系统:故障发生时,为了保证可用性,允许不同进程读到不同的数据

4、针对故障场景,可以通过故障转移的方式,做一个相对较优的解决方式:

  • 4.1 允许一个进程作为Master,其他进程作为Backup,当故障时将请求转移给Backup进行处理