分布式架构初探 | 青训营笔记

57 阅读2分钟

这是我参与「 第五届青训营 」伴学笔记创作活动的第 12 天

概念

什么是分布式

概念

分布式系统是跨多个节点的计算机程序的集合。

优势

去中心化、低成本、弹性、资源共享、可靠性高。

常见的分布式系统:
  • 分布式存储:GFS、Ceph、HDFS、Zookeeper
  • 分布式数据库:Spanner、TiDB、HBase、MangoDB
  • 分布式计算:Hadoop、YARN、Spark

系统模型

六种故障模型

  • Byzantine failure:节点可以任意篡改发送给其他节点的数据,是最难处理的故障
  • Authentication detectable byzantine failure (ADB):节点可以篡改数据,但不能伪造其他节点的数据
  • Performance failure:节点未在特定时间段内收到数据,即时间太早或太晚
  • Omission failure:节点收到数据的时间无限晚,即收不到数据
  • Crash failure:节点停止响应,持续性的故障
  • Fail-stop failure:错误可检测,是最容易处理的故障

拜占庭将军问题

两将军问题

问题介绍:两支军队的将军只能派信使穿越敌方领土互相通信,以此约定进攻时间。该问题希望求解如何在两名将军派出的任何信使都可能被俘虏的情况下,就进攻时间达成共识。得出此问题结论为:两支军队理论上永远无法达成共识

三将军问题:

问题介绍:两个“忠将”A和B,一个“叛徒”C,互相传递消息,消息可能丢失,也可能被篡改,当有一个将军是“叛徒”(即出现拜占庭故障)时,整个系统无法达成一致。由于“叛徒”C的存在,将军A和将军B获得不同的信息。这样将军A获得2票进攻1票撤退的信息,将军B获得1票进攻2票撤退的信息,产生了不一致。

四将军问题:

问题介绍:将军D作为消息分发中枢,约定如果没收到消息则执行撤退。如果D为“叛徒”,ABC无论收到任何消息,总能达成一致,但是如果D为“忠将”,ABC有2人将D的消息进行正确的传递,同样能保证最终决策符合大多数。

所以得出结论:当有3m+1个将军,m个“叛徒”时,可以进行m轮协商,最终达成一致

总结

这些笔记是当时在学分布式架构的一些知识总结。这是我第一次接触分布式架构,刚开始理解起来还是不太容易。保留下笔记,帮助自己温故知新。