初识分布式系统 | 青训营笔记

jirafa
104 阅读7分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 6 天

概述

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。

可以分为分布式计算、分布式存储、分布式数据库等

优势：

  • 去中心化
  • 低成本
  • 弹性
  • 资源共享
  • 高可靠性

劣势：

  • 普遍的节点故障
  • 通信不可靠
  • 异构的机器与硬件环境
  • 安全

image-20230201144155507

分布式三问

一下将从三个方面和两个视角分别对分布式架构进行剖析

作为使用者：

  • why

    • 对存储和计算有大规模应用的诉求
    • 构建在廉价服务器上的低成本

  • How

    • 了解分布式框架
    • 有成熟的分布式架构

  • What

    • 理清规模、负载、一致性等要求
    • 明确稳定性要求，指定技术方案

作为学习者：

  • why

    • 当今后端必备技能
    • 帮助理解服务器间协作原理

  • How

    • 掌握分布式理论
    • 了解一致性协议

  • What

    • 针对难点进行资料查询
    • 实践所学知识

常见分布式系统

  • 分布式储存
  • 分布式数据库
  • 分布式计算

系统模型

故障模型

根据处理故障的难易程度进行划分

  • Byzantine failure:节点可以任意篡改发送给其他节点的数据
  • Authentication detectable byzantine failure(ADB): Byzantine failure的特例;节点可以篡改数据，但不能伪造其他节点的数据
  • Performance failure:节点未在特定时间段内收到数据，即时间太早或太晚
  • Omission failure: 节点收到数据的时间无限晚，即收不到数据
  • Crash failure: 在omission failure的基础上，增加”了节点停止响应的假设，也即持续性地omission failure
  • Fail-stop failure: 在Crash failure的基础.上增加了错误可检测的假设

可以从四个方面对以上故障进行分析，即：

  • 正确性
  • 时间
  • 状态
  • 原因

image-20230201145214556

image-20230201145635772

拜占庭将军问题

两将军问题(Two Generals' Problem) :

两支军队的将军只能派信使穿越敌方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能 被俘虏的情况下，就进攻时间达成共识。

结论是，两将军问题是被证实无解的电脑通信问题，两支军队理论.上永远无法达成共识。

方案一:同时发送N个信使，任何一个达到对方军队，都算成功。 方案二:设置超时时间，发送后未在一定时间返回， 则加派信使。

共识与消息传递的不同:即使保证了消息传递成功，也不能保证达成共识 TCP三次握手是在两个方向确认包的序列号，增加了 超时重试，是两将军问题的一 个工 程解。

image-20230201150309681

共识和一致性

在分布式系统中存在两种一致性：最终一致性和线性一致性

客户端A读到x=0，当客户端C正在写入时，客户端A和B可能读到0或者1。但是当C写入完成后，A和B最终能读到一致的数据。我们称这样的一致性为Eventually consistent (最终一致性)

image-20230201150848838

当客户端A读到更新的版本x=1后，及时将消息同步给其他客户端，这样其他客户端立即能获取到x=1。我们称这样的一致性为Linearizability (线性一致性)

image-20230201150922072

因为线性一致性要求不同节点间进行消息的同步以寻求一致，所以会造成延迟，导致系统的性能下降。

时间和事件顺序

1978年Leslie Lamport发表在Communications of the ACM.上的论文Time, Clocks, and the Ordering of Events in a Distributed System

我们定义"happened before"关系，记为"→"。 其满足如下三个条件:

  • 如果a和b是在相同节点上的两个事件，a在b之前发生，则定义: a→b
  • 如果事件a表示某个节点发送某条消息，b是另一个节点接受这条消息， 则有a→b
  • 如果有a-→b且b→C，则有 a→C

当且仅当a+>b且b+a时，我们称两个事件为并发的(concurrent)。 我们不难在图中找到若干满足条件的事件对，例如p1→r4，其由 p1→q2→q4→r3- +r4 推导而来

image-20230201151612555

逻辑时钟

逻辑时钟是为了区分现实中的物理时钟提出来的概念，一般情况下我们提到的时间都是指物理时间，但实际上很多应用中，只要所有机器有相同的时间就够了，这个时间不一定要跟实际时间相同。更进一步，如果两个节点之间不进行交互，那么它们的时间甚至都不需要同步。因此问题的关键点在于节点间的交互要在事件的发生顺序上达成一致，而不是对于时间达成一致。

综上，逻辑时钟指的是分布式系统中用于区分事件的发生顺序的时间机制。 从某种意义上讲，现实世界中的物理时间其实是逻辑时钟的特例。

对于每一个节点Pi我们定义时钟Ci为一个函数，它为任意的事件a赋值编号 为Ci(a)

  1. 如果a和b是在相同节点Pi.上的两个事件，a在b之前发生，则有 Ci(a)<Ci(b)
  2. 如果事件a表示节点Pi发送某条消息，b表示节点Pj接受这条消息，则有 Ci(a)<Cj(b)

于是我们可以在时空图中加入类似右图虚线所示的"tick line'在同一节点内的连续两个事件之间，至少要有一条tick line 利用逻辑时钟，我们可以对整个系统中的事件进行全序排序

image-20230201151857814

理论基础

CAP理论

我们无法同时满足CAP

image-20230201152233087

CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向

  • CA:放弃分区容错性，加强一致性和可用性， 其实就是传统的单机数据库的选择
  • AP:放弃一致性(这里说的一致性是强一 致性)， 追求分区容错性和可用性， 例如一些注重用户体验的系统
  • CP:放弃可用性，追求一致性和分区容错性， 例如与钱财安全相关的系统

image-20230201152323429

ACID

事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要 么全部执行,要么全都不执行。 数据库事务拥有四个特性ACID，即分别是

原子性( Atomicity)、一致性( Consistency )、隔离性( Isolation )和持久性(Durability )

BASE

Base理论是对CAP中-致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来 的。其核心思想是:

  • Basically Available(基本可用):假设系统，出现了不可预知的故障，但还是能用，相比较正常的系统而言:响应时间上的损失， 或功能上的损失
  • Soft state (软状态) :允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性，即允许系统在多个不同节点 的数据副本存在数据延时。
  • Eventually consistent (最终一致性) :系统能够保证在没有其他新的更新操作的情况下，数据最终一定能够达到一 致的状态， 因此所有客户端对系统的数据访问最终都能够获取到最新的值。

引用

  • 字节青训营课程：分布式理论 - 现代架构基石
avatar
文章
阅读
粉丝