分布式理论|青训营笔记

70 阅读2分钟

这是我参与「第五届青训营」伴学笔记创作活动的第8天

什么是分布式

分布式系统是计算机程序的集合,这些程序利用跨多个独立节点的计算资源来实现共同的目标。可以为分布式计算、分布式存储、分布式数据库等

优势:

去中心化

低成本

弹性

资源共享

可靠性高

劣势:

普遍的节点故障

不可靠的网络

异构的机器及其硬件环境

安全

常见的分布式系统

分布式存储

  • Google File System:GFS,google分布式文件系统
  • Ceph:统一的分布式存储系统
  • Hadoop HDFS:基于GFS架构的开源分布式文件系统
  • Zoomkeeper:高可用的分布式数据管理与系统协调框架

分布式数据库

  • Google Spanner:google可拓展的、全球分布式的数据库
  • TiDB:开源分布式关系型数据库
  • HBase:开源Nosql数据库
  • MongoDB:文档数据库

分布式计算

  • Hadoop:基于MapReduce的分布式计算框架
  • Spark: 在Hadoop的基础上,使用内存来存储数据
  • YARN:分布式资源调度

故障模型

  • Byzantine failure:节点可以任意篡改发送给其他节点的数据
  • Authentication detectable byzantine failure(ADB):节点可以篡改数据,但不能伪造其他节点的数据
  • Performance failure:节点未在特定时间段内收到数据,即时间太早或者太晚
  • Omission failure:节点收到数据的时间无限晚,即收不到数据
  • Crash failure:在Omission failure的基础上,增加了节点停止响应的假设,即持续性的Omission failure
  • Fail-stop failure:在Crash failure的基础上增加了错误可检测的假设

CAP理论

C(Consistence)

一致性,指数据在多个副本之间能够保持一致的特性(严格一致性)

A(Availability)

可用性,指系统提供的服务必须一直处于可用的状态,每次请求都能获得非错的响应——但是不保证获取的数据是最新数据

P(Network partitioning)

分区容错性,分布式系统在遇到任何网络分区故障的时候,仍然能够对外提供满足一致性和可用性的服务,除非整个网络环境都发生了故障

CA

放弃分区容错性,加强了一致性和可用性,其实这就是传统的单机数据库的选择

AP

放弃一致性(这里说的是最强一致性),追求分区容错性和可用性,例如一些注重用户体验的系统

CP

放弃可用性,追求一致性和分区容错性,例如和钱财安全相关的系统

个人感想

通过本次课程的学习,认识到了分布式系统的基本概念,也对其中的错误情况有了初步的了解,另外还对数据库中的CAP理论有了一个印象。