后端 分布式理论 day10 | 青训营笔记

新新人类zzz
75 阅读4分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

今日笔记内容: 分布式理论-现代架构基石

什么是分布式

分布式系统是计算机程序的集合, 这些程序利用跨多个独立节点的各种资源来实现共同的目标. 可以分为分布式计算, 分布式存储, 分布式数据库等.

分布式系统的优势:

  1. 去中心化
  2. 低成本
  3. 弹性
  4. 资源共享
  5. 可靠性高

分布式系统的挑战:

  1. 普遍的节点故障
  2. 不可靠的网络
  3. 异构的机器与硬件环境
  4. 安全性

google分布式框架经典的三篇论文, 引入了分布式系统的事件, 以下列出一些常见的分布式系统

  • 存储:
    • Googel File System(GFS) : googel 分布式文件系统
    • Ceph: 统一的分布式存储系统
    • Hadoop HDFS: 基于GFS架构的开源分布式文件系统
    • ZooKeeper: 高可用的分布式数据管理与系统协调框架
  • 数据库:
    • Google Spanner: 可拓展的, 全球分布式的数据库
    • TiDB: 开源分布式关系型数据库
    • HBase: Hadoop上的开源Nosql数据库
    • MongoDB: 文档数据库
  • 计算:
    • MapReduce
    • Hadoop: 基于MapReduce的开源实现
    • Spark: 在Hadoop的基础上, 使用内存来存储数据
    • YARN: 分布式资源调度

分布式系统模型

故障模型

  • Byzantine failure: 节点可以任意篡改发送给其他节点的数据
  • Authentication detectable byzantine failure(ADB): Byzantine failure 的特例, 节点可以篡改数据, 但不能伪造其他节点的数据
  • Performance failure: 节点未在特定时间段收到数据, 既时间太早或太晚
  • Omission failure: 节点收到数据的时间无限晚, 既收不到数据
  • Crash failure: Omission failure的基础上, 增加了节点停止响应的假设, 既持续性的Omission failure
  • Fail-stop failure: 在Crash failure的基础上增加了错误可检测的假设

拜占庭将军问题

两将军问题(Two Generals' Problem): 两只军队的将军之能派信使穿越敌方领土相互通信, 以此约定进攻时间. 该问题希望求解如何在两名将军派出的任何信使都可能被俘虏非问题下, 就进攻时间达成共识

理论上无法完全达成共识, TCP 三次握手+超时重试是一种工程解决

  • 同时发送N个信使, 任何一个到达对方军队, 都算成功
  • 设置超时时间, 发送后未在一定时间返回, 则加派信使

拜占庭将军考虑更普适的场景, 有多个将军相互传递消息, 消息有可能丢失, 也有可能被篡改

当有3m+1个将军, 其中m个叛徒时, 可以增加m轮协商, 最终达成一致

共识和一致性

Eventually consistent(最终一致性), 客户端写入时, 其他客户端可能读取到新值, 也可能读取到旧值, 但最终能读到新值 Linearizability (线性一致性), 客户端读取到更新后的新值后, 及时将消息同步给其他客户端, 所有的客户端读取的数据都是一致的.

时间和事件顺序

Lamport的1978年的论文: Time, Clocks, and the Ordering of Events in a Distributed System

happened before 关系 →\rightarrow

  • 如果a和b是相同节点上的两个事件, a在b之前发生, 则a→ba \rightarrow b
  • 如果事件a表示某个节点发送某条消息, b是接收消息节点, 则a→ba \rightarrow b
  • 如果a→ba \rightarrow b 且 b→cb \rightarrow c, 则有a→ca \rightarrow c, 传递性

基于 happened before 定义逻辑时钟

理论基础

CAP理论

  • C(Consistent), 一致性, 多节点之间
  • A(Availability), 可用性
  • P (Network partitioning) 分区容错性

该理论的关键在于一个系统通常CAP三种特性不可兼得

因此要对CAP进行取舍,如 CA(单机数据库), AP(注重用户体验), CP(钱财相关)

事务的ACID理论

  • A(Atomicity), 原子性
  • C(Consistency), 一致性(注意与CAP中的C不同)
  • I(Isolation), 隔离性
  • D(Durability), 持久性

BASE理论

Base 理论是基于CAP定量演化而来, 对一致性和可用性权衡的结果

  • Basically Available(基本可用): 假设系统出现不可预知的故障, 但是可用. 相较于正常系统: 响应时间的损失, 或功能上的损失
  • Soft state(软状态): 允许系统中的数据存在中间状态, 该状态不影响系统整体可用性, 及允许系统存在多节点的数据副本存在数据延时
  • Eventually consistent(最终一致性): 系统保证没有新的更新操作下, 数据最终能达到一致的状态, 因此所有客户端对系统的数据访问最终能够获取的最新的值
avatar
文章
阅读
粉丝