分布式理论 | 青训营笔记

老裤衩
54 阅读6分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

什么是分布式？

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

优势∶

1.去中心化
2.低成本
3.弹性
4.资源共享
5.可靠性高

挑战:

1.普遍的节点故障
2.不可靠的网络
3.异构的机器与硬件环境
4.安全

分布式存储

1.Google File System (GFS) : google分布式文件系统

2.Ceph: 统一的分布式存储系统

3.Hadoop HDFS:基于GFS架构的开源分布式文件系统

4.Zookeeper:高可用的分布式数据管理与系统协调框架

分布式数据库

1.Google Spanner: google可扩展的、全球分布式的数据库

2.TiDB:开源分布式关系型数据库

3.HBase:开源Nosql数据库

4.MongoDB:文档数据库

分布式计算

1.Hadoop:基于MapReduce分布式计算框架

2.Spark:在Hadoop基础之上，使用内存来存储数据

3.YARN:分布式资源调度

故障模型

Byzantine failure:节点可以任意篡改发送给其他节点的数据

Authentication detectable byzantine failure (ADB): Byzantine failure的特例;节点可以篡改数据，但不能伪造其他节点的数据

Performance failure:节点未在特定时间段内收到数据，即时间太早或太晚

Omission failure:节点收到数据的时间无限晚，即收不到数据

Crash failure:在omission failure的基础上，增加了节点停止响应的假设，也即持续性地omission failure

Fail-stop failure:在Crash failure的基础上增加了错误可检测的假设

拜占庭将军问题

老师通过一个有趣而富有深意的故事给我们讲了有关通信和共识的问题，这个故事讲的就是两个将军带领各自的军队一个A、一个B他们两个军队要去攻打一个地方，只有两个军队一起发动攻击才可以胜利，要么都不打，要么一起打。这个故事的结局呢很出人意料，结局就是两个将军根本不可能达成共识，因为A将军派信使去告诉B将军明天上午九点去攻打敌人，信使在传信的过程中可能会被敌人缴获，如果A将军没有收到回信他也就不打了，但是如果B将军派信使回信的过程中被拦截那么可能A将军不打只有B将军打，又或者传回来假情报等等可能。

共识和一致性

客户端A读到x=0，当客户端C正在写入时，客户端A和B可能读到0或者1。但是当C写入完成后，A和B最终能读到一致的数据。我们称这样的一致性为Eventually consistent(最终一致性)

当客户端A读到更新的版本x=1后，及时将消息同步给其他客户端，这样其他客户端立即能获取到x=1。我们称这样的一致性为Linearizability(线性一致性)

如果要保证“线性”一致性，多个节点间势必需要进行协商，以寻求一致。这样增加了延迟，系统可用性便会受损

CAP理论

C (Consistence)

一致性，指数据在多个副本之间能够保持一致的特性（严格的一致性)。

A(Availability)

可用性，指系统提供的服务必须一直处于可用的状态，每次请求都能获取到非错的响应——但是不保证获取的数据为最新数据。

P(Network partitioning)

分区容错性，分布式系统在遇到任何网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务，除非整个网络环境都发生了故障。
  • CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向
  • CA:放弃分区容错性，加强一致性和可用性，其实就是传统的单机数据库的选择
  • AP:放弃一致性(这里说的一致性是强—致性)，追求分区容错性和可用性，例如一些注重用户体验的系统
  • CP:放弃可用性，追求一致性和分区容错性，例如与钱财安全相关的系统

ACID理论

事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行。

数据库事务拥有四个特性ACID，即分别是原子性（Atomicity)、一致性(Consistency)、隔离性(lsolation)和持久性(Durability)

  • 原子性(A)。原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。
  • 一致性(C)。一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于—致性状态
  • 隔离性(I)。隔离性是当多个用户并发访问数据库时,数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离
  • 持久性(D)。持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作。

BASE理论

Base理论是对CAP中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来的。其核心思想是:

  • Basically Available(基本可用):假设系统，出现了不可预的故障，但还是能用，相比较正常的系统而言:响应时间上的损失,或功能上的损失
  • Soft state (软状态):允许系统中的数据存在中间状态，并认为该状态不影响系的整体可用性，即允许系统在多个不同节点的数据副本存在数据延时。
  • Eventually consistent(最终一致性)∶系统能够保证在没有其的更新操作的情况下，数据最终一定能够达到一致的状态，因此所有客户端对系统的数据访问最终都能够获取到最新的值

引用：

本文全部内容来自- 字节内部课：直播课

avatar
文章
阅读
粉丝