分布式理论 笔记|青训营笔记

花于陌上开
118 阅读7分钟

这是我参与第五届青训营笔记创作活动的第13天，今天的课程为分布式理论，主要讲的是分布式理论的相关内容，今天主要总结分布式理论中相关基础理论知识。

分布式概述

什么是分布式

分布式系统是计算机程序的集合，这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

优势：去中心化、低成本、弹性、资源共享、可靠性高

挑战：普遍的节点故障、不可靠的网络、异构的机器与硬件环境、安全

使用者视角看待分布式

为什么使用分布式：

  1. 数据爆炸，对存储和计算有大规模运用的述求
  2. 成本低，构建在廉价服务器之上

使用什么样的分布式：

  1. 分布式框架
  2. 成熟的分布式系统

如何使用分布式：

  1. 理清规模，负载，一致性要求等
  2. 明确稳定性要求，制定技术方案

学习者视角看待分布式

为什么学习分布式：

  1. 后端开发必备技能
  2. 帮助理解后台服务器之间协作的机理

学习了解分布式的什么知识：

  1. 掌握分布式理论
  2. 了解一致性协议

怎么学习分布式：

  1. 把要点深入展开，针对难点搜索互联网资料过
  2. 将所学知识运用于实践

常见分布式系统

分布式存储

  1. Google File System ( GFS ) : google分布式文件系统

  2. Ceph :统一的分布式存储系统

  3. Hadoop HDFS:基于GFS架构的开源分布式文件系统

  4. Zookeeper:高可用的分布式数据管理与系统协调框架

分布式数据库

  1. Google Spanner : google可扩展的、全球分布式的数据库

  2. TiDB:开源分布式关系型数据库

  3. HBase :开源Nosql数据库

  4. MongoDB:文档数据库

分布式计算

  1. Hadoop :基于MapReduce分布式计算框架

  2. Spark :在Hadoop基础之上，使用内存来存储数据

  3. YARN:分布式资源调度

系统模型

故障模型

  • Byzantine failure :节点可以任意篡改发送给其他节点的数据
  • Authentication detectable byzantine failure(ADB)Byzantine failure的特例；节点可以篡改数据，但不能伪造其他节点的数据
  • Performance failure :节点未在特定时间段内收到数据，即时间太早或太晚
  • Omission failure :节点收到数据的时间无限晚，即收不到数据
  • Crash failure :在omission failure的基础上，增加了节点停止响应的假设，也即持续性地omission failure
  • Fail-stop failure :在Crash failure的基础上增加了错误可检测的假设

66a6869e459306751fe07e665e447984.png

拜占庭将军问题

两将军问题(Two Generals' Problem ) :两支军队的将军只能派信使穿越敌方领土互相通信，以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下，就进攻时间达成共识。

结论是，两将军问题是被证实无解的电脑通信问题，两支军队理论上永远无法达成共识。TCP三次握手是在两个方向确认包的序列号，增加了超时重试，是两将军问题的一个工程解。

拜占庭将军问题考虑更加普适的场景，例如3个将军ABC互相传递消息，消息可能丢失，也可能被篡改，当有一个将军是“叛徒”（即出现拜占庭故障)时，整个系统无法达成一致。

如果没有“叛徒”，无论各自观察到怎样的敌情，总能达成一致的行动。

由于“叛徒”C的存在，将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息，将军B获得1票进攻2票撤退的信息，产生了不一致。

考虑当4个将军，只有1个叛徒的场景。将军D作为消息分发中枢，约定如果没收到消息则执行撤退。

  • 如果D为“叛徒”，ABC无论收到任何消息，总能达成一致

  • D为“忠将”，ABC有2人将D的消息进行正确的传递，同样能保证最终决策符合大多数。

进而能够证明，当有3m+1个将军，其中m个“叛徒”时，可以增加m轮协商，最终达成一致

理论基础

CAP理论

C(Consistnce)：一致性，指数据在多个副本之间能够保持一致的特性（严格的一致性)。

A(Availability)：可用性，指系统提供的服务必须一直处于可用的状态，每次请求都能获取到非错的响应——但是不保证获取的数据为最新数据。

P(Network patitioning)：分区容错性，分布式系统在遇到任何网络分区故障的时候，仍然能够对外提供满足一致性和可用性的服务,除非整个网络环境都发生了故障。

CAP理论往往运用于数据库领域，同样可以适用于分布式存储方向

  • CA：放弃分区容错性，加强一致性和可用性，其实就是传统的单机数据库的选择

  • AP：放弃一致性（这里说的一致性是强─致性），追求分区容错性和可用性，例如一些注重用户体验的系统

  • CP︰放弃可用性，追求一致性和分区容错性，例如与钱财安全相关的系统

ACID理论

事务是数据库系统中非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全都不执行。数据库事务拥有四个特性ACID，即分别是原子性(Atomicity )、一致性(Consistency )、隔离性( Ilsolation )和持久性(Durability )

  • 原子性(A)：原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。
  • 一致性(C)：一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态，也就是说一个事务执行之前和执行之后都必须处于一致性状态
  • 隔离性(I)：隔离性是当多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作所干扰，多个并发事务之间要相互隔离
  • 持久性(D)：持久性是指一个事务一旦被提交了，那么对数据库中的数据的改变就是永久性的，即便是在数据库系统遇到故障的情况下也不会丢失提交事务的操作。

BASE理论

Base理论是对CAP中一致性和可用性权衡的结果，其来源于对大型互联网分布式实践的总结，是基于CAP定理逐步演化而来的。其核心思想是︰

  • Basically Available(基本可用)︰假设系统，出现了不可预知的故障，但还是能用 相比较正常的系统而言:响应时间上的损失，或功能上的损失
  • Soft state(软状态）︰允许系统中的数据存在中间状态，并认为该状态不影响系统的整体可用性，即允许系统在多个不同节点的数据副本存在数据延时。
  • Eventually consistent(最终一致性）∶系统能够保证在没有其他新的更新操作的情况下，数据最终一定能够达到一致的状态，因此所有客户端对系统的数据访问最终都能够获取到最新的值。
avatar
文章
阅读
粉丝