分布式

用户7992110583125
126 阅读5分钟

分布式概念

什么是分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

常见的分布式系统

分布式存储：

  1. Google File System ( GFS)：google分布式文件系统
  2. Ceph：统一的分布式存储系统
  3. Hadoop HDFS：基于GFS架构的开源分布式文件系统
  4. Zookeeper：高可用的分布式数据管理与系统协调框架

分布式数据库：

  1. Google Spanner：google可扩展的、全球分布式的数据库
  2. TDB：开源分布式关系型数据库
  3. HBase：开源Nosql数据库
  4. MongoDB ：文档数据库

分布式计算：

  1. Hadoop：基于MapReduce分布式计算框架
  2. Spark：在Hadoop基础之上，使用内存来存储数据
  3. YARN：分布式资源调度

系统模型

六种故障模型，从处理的难易程度分类

  • Byzantine failure：节点可以任意篡改发送给其他节点的数据，是最难处理的故障
  • Authentication detectable byzantine failure (ADB)：节点可以篡改数据，但不能伪造其他节点的数据
  • Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚
  • Omission failure：节点收到数据的时间无限晚，即收不到数据
  • Crash failure：节点停止响应，持续性的故障
  • Fail-stop failure：错误可检测，是最容易处理的故障

理论

CAP 理论：

  • CAP的定义，分别代表一致性、可用性、分区容错性。三者无法同时达到
  • CAP诞生了三类系统：
    • CA系统：传统数据库的代表
    • AP系统：放弃强一致性，保证高可用，不少nosql存储系统采用
    • CP系统：放弃可用性，保证数据一致性
  • 举例说明两个分布式进程之间同步数据，当出现故障的时候，如何选择不同的CAP系统，以及带来的影响
    • CP系统：故障发生时，为了避免读到不一致的数据，可能拒绝访问
    • AP系统：故障发生时，为了保证可用性，允许不同进程读到不同的数据
  • 针对故障场景，可以通过故障转移的方式，做一个相对较优的解决方式：
    • 允许一个进程作为Master，其他进程作为Backup，当故障时将请求转移给Backup进行处理

ACID理论

  • ACID理论是针对CA系统而言的，通常在数据库中具有广泛意义

  • 事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行

  • 数据库事务拥有四个特性ACID：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability）

    • 原子性（A）。原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。

    • 一致性（C）。一致性是指事务必须使数据库从一个一致性状态交换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态

    • 隔离性（I）。隔离性是当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离

    • 持久性（D）。持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会天失提交事务的操作。

BASE理论

BASE理论是针对AP系统而言的，其来源于对大型互联网分布式实践的总结

  • Basically Available(基本可用)：假设系统，出现了不可预知的故障，但还是能用
  • Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性
  • Eventually consistent（最终一致性）：数据最终一定能够达到一致的状态

分布式事务

两阶段提交

二阶段提交 ( Two-phase Commit）：为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的

三个假设：

  1. 引入协调者（Coordinator）和参与者 (Participants），互相进行网络通信
  2. 所有节点都采用预写式日志，且日志被写入后即被保持在可靠的存储设备上
  3. 所有节点不会永久性损坏，即使损坏后仍然可以恢复

正常流程：Prepare阶段和Commit阶段

异常流程：Prepare阶段失败 -> 回滚；协调者宕机 -> 重新启用新的协调者；双故障重启 -> 数据库管理员介入

两阶段提交需解决的问题：

  • 性能问题：需要多次网络通信，资源需要等待并锁定
  • 新协调者：如何确定状态选出新协调者
  • Commit阶段网络分区带来的数据不一致：非所有节点都收到Commit请求

三阶段提交

  1. CanCommit
  2. PreCommit
  3. Docommit

MVCC

多版本并发控制的方法。维持一个数据的多个版本使读写操作没有冲突。所以既不会阻塞写，也不阻塞读。提高并发性能的同时也解决了脏读的问题。

  • 版本的选取：使用物理时钟或逻辑时钟
    • 物理时钟：提供TrueTime API，有Master节点维持一个绝对时间，保证各个服务器之间时钟误差控制在ϵ内，通常ϵ<7ms。
    • 逻辑时钟：中心化授时的方式--时间戳预言机（TSO），好处是无需硬件的支持
avatar
文章
阅读
粉丝