分布式理论（1） ｜ 青训营笔记

zztaki
92 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 5 天

分布式理论

分布式概述

什么是分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

  1. 优势:
    • 去中心化
    • 低成本
    • 弹性
    • 资源共享
    • 可靠性高
  2. 挑战：
    • 普遍的节点故障
    • 不可靠的网络
    • 异构的机器与硬件环境
    • 安全

Why-How-What

使用者角度：

  1. Why
    • 数据爆炸，对存储和计算有大规模运用的述求
    • 成本低，构建在廉价服务器之上
  2. How
    • 分布式框架
    • 成熟的分布式系统
  3. What
    • 理清规模，负载，一致性要求等
    • 明确稳定性要求，制定技术方案

学习者角度：

  1. Why
    • 后端开发必备技能
    • 帮助理解后台服务器之间协作的机理
  2. How
    • 掌握分布式理论
    • 了解一致性协议
  3. What
    • 把要点深入展开，针对难点搜索互联网资料进行学习
    • 将所学知识运用于实践

常见的分布式系统

  1. 分布式存储
    • Google File System (GFS)：google 分布式文件系统
    • Ceph：统一的分布式存储系统
    • Hadoop HDFS：基于 GFS 架构的开源分布式文件系统
    • Zookeeper：高可用的分布式数据管理与系统协调框架
  2. 分布式数据库
    • Google Spanner：google 可扩展的、全球分布式的数据库
    • TiDB：开源分布式关系型数据库
    • HBase：开源 Nosql 数据库
    • MongoDB：文档数据库
  3. 分布式计算
    • Hadoop：基于 MapReduce 分布式计算框架
    • Spark：在 Hadoop 基础之上，使用内存来存储数据
    • YARN：分布式资源调度

系统模型

故障模型

  1. 六种故障模型，从处理的难易程度分类
    • Byzantine failure（拜占庭故障）：节点可以任意篡改发送给其他节点的数据，是最难处理的故障
    • Authentication detectable byzantine failure (ADB，拜占庭故障的特例)：节点可以篡改数据，但不能伪造其他节点的数据
    • Performance failure：节点未在特定时间段内收到数据，即时间太早或太晚
    • Omission failure：节点收到数据的时间无限晚，即收不到数据
    • Crash failure：节点停止响应，持续性的故障
    • Fail-stop failure：错误可检测，是最容易处理的故障
  2. 故障模型举例 PPT 中有关磁盘、主板、交换机、网络分区、cpu、内存、线缆、电源等故障详细说明

拜占庭将军问题

拜占庭将军问题

共识和一致性

  1. 不同客户端 A 和 B 看到客户端 C 写入，因为时机的不同，产生数据读取的偏差。引导出最终一致性的详细说明
  2. 要保证所有客户端看到相同的值，需要多节点进行“协商”，达成共识，来保证线性一致性
  3. 一致性和可用性是对矛盾

时间和事件顺序

1978年 Leslie Lamport 定义了计算机系统中的时间和事件顺序，可以以此对分布式系统中的事件进行推导和排序。

理论基础

CAP 理论

  1. CAP 的定义，分别代表一致性、可用性、分区容错性。三者无法同时达到
  2. CAP 诞生了三类系统：
    • CA 系统：传统数据库的代表
    • AP 系统：放弃强一致性，保证高可用，不少 nosql 存储系统采用
    • CP 系统：放弃可用性，保证数据一致性

ACID 理论

事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行。 数据库事务拥有四个特性 ACID，即分别是原子性(Atomicity)、一致性(Consistency)、隔离性(Ilsolation)和持久性(Durability)。

  1. 原子性(A)。原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。
  2. 一致性(C)。一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态
  3. 隔离性(I)。隔离性是当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离
  4. 持久性(D)。持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作。

BASE 理论

Base 理论是对 CAP 中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来的。其核心思想是:

  1. Basically Available（基本可用）:假设系统，出现了不可预知的故障，但还是能用，相比较正常的系统而言：响应时间上的损失，或功能上的损失
  2. Soft state（软状态）：允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性，即允许系统在多个不同节点的数据副本存在数据延时。
  3. Eventually consistent（最终一致性）：系统能够保证在没有其他新的更新操作的情况下，数据最终一定能够达到一致的状态，因此所有客户端对系统的数据访问最终都能够获取到最新的值。
avatar
文章
阅读
粉丝