分布式理论-现代构架基石 | 青训营笔记

最多卷两次
100 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天

分布式理论-现代架构基石 | 青训营笔记

1. 分布式概述

  1. 分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

    优势：

    • 去中心化
    • 低成本
    • 弹性
    • 资源共享
    • 可靠性高

    挑战：

    • 普遍的节点故障
    • 不可靠的网络
    • 异构的机器与硬件环境
    • 安全

  2. 常见的分布式系统

    • 分布式存储
      • Google File System（GFS）：Google分布式文件系统
      • Ceph：统一的分布式存储系统
      • Hadoop HDFS：基于GFS架构的开源分布式文件系统
      • Zookeeper：高可用的分布式数据管理与系统协调框架
    • 分布式数据库
      • Google Spanner：Google可扩展的、全球分布式的数据库
      • TiDB：开源分布式关系型数据库
      • HBase：开源Nosql数据库
      • MongoDB：文档数据库
    • 分布式计算
      • Hadoop：基于MapReduce分布式计算框架
      • Spark：在Hadoop基础上，使用内存来存储数据
      • YARN：分布式资源调度

2. 系统模型

  1. 故障模型

    • Byzantine failure：节点可以任意篡改发送给其他节点的数据
    • Authentication detectable byzantine failure（ADB）：Byzantine failure的特例，节点可以篡改数据，但不能伪造其他节点的数据
    • Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚
    • Omission failure：节点收到数据的时间无限晚，即收不到数据
    • Crash failure：在Omission failure的基础上，增加了节点停止响应的假设，也即持续性地Omission failure
    • Fail-stop failure：在Crash failure的基础上增加了错误可检测的假设

  2. 拜占庭将军问题

    • 两将军问题被证实是无解的电脑通信问题，两支军队理论上永远无法达成共识。
    • 当有3m+1个将军，其中m个“叛徒”时，可以增加m轮协商，最终达成一致。

3. 理论基础

  1. CAP理论

    • C（Consistence）：一致性，指数据在多个副本之间能够保持一致的特性（严格的一致性）
    • A（Availability）：可用性，指系统提供的服务必须一致处于可用的状态，每次请求都能获取到非错的响应，但是不保证获取的数据为最新数据
    • P（Network partitioning）：分区容错性，分布式系统在遇到任何网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务，除非整个网络环境都发生了故障

  2. CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向，三者无法同时完全满足。

    • CA：放弃分区容错性，加强一致性和可用性，即传统的单机数据库的选择
    • AP：放弃一致性（特指强一致性），追求分区容错性和可用性，如一些注重用户体验的系统
    • CP：放弃可用性，追求一致性和分区容错性，如与钱财安全相关的系统

  3. ACID理论 事务时数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行。

    数据库事务拥有四个特性ACID，即原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）。

    • 原子性：事务包含的所有操作要么全部成功，要么全部失败回滚
    • 一致性：事务必须使数据库从一个一致性状态变换到另一个一致性状态，即一个事务执行前和执行后都必须处于一致性状态
    • 隔离性：当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离
    • 持久性：一个事务一旦提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下亦不会丢失提交事务的操作

  4. BASE理论 Base理论是对SAP中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来的，核心思想是：

    • Basically Available（基本可用）：假设系统，出现了不可预知的故障，但还是能用，相比较正常的系统而言：响应时间上的损失，或功能上的损失
    • Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性，即允许系统在多个不同节点的数据副本存在数据延时
    • Eventually consistent（最终一致性）：系统能够保证在没有其他新的更新操作的情况下，数据最终一定能够达到一致的状态，因此所有客户端对系统的数据访问最终都能够获取到最新的值

4. 分布式事务

  1. 二阶段提交 二阶段提交（Two-phase Commit）：为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种演算算法（Prepare和Commit）。

    三个假设：

    • 引入协调者（Coordinator）和参与者（Participants），互相进行网络通信
    • 所有节点都采用预写式日志，且日志被写入后即被保持在可靠的存储设备上
    • 所有节点不会永久性损坏，即使损坏后仍然可以恢复

  2. 三阶段提交 将两阶段提交中的Prepare阶段，拆分成两部分：CanCommit和PreCommit机制。解决了单点故障问题和阻塞问题，且引入超时机制，在等待超时之后，会继续进行事务的提交。

  3. 悲观锁和乐观锁

    • 悲观锁：操作数据时直接把数据锁住，直到操作完成后才会释放锁；上锁期间其他人不能修改数据
    • 乐观锁：不会上锁，只是在执行更新时判断别人是否修改数据，只有冲突时才放弃操作

  4. MVCC MVCC是一种并发控制的方法，维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。MVCC为每个修改保存一个版本，和事务的时间戳相关联。可以提高高并发性能，解决脏读问题。

avatar
文章
阅读
粉丝