摆烂新人写文章Day08——分布式理论

29 阅读2分钟

什么是分布式

分布式系统是计算机程序的集合,这些程序利用多个独立计算机节点的计算资源来实现共同的目标,可以分为分布式计算、分布式存储、分布式数据库等。

优势:

  • 去中心化
  • 低成本
  • 弹性
  • 资源共享
  • 可靠性高

在学生学习的时候,其实不必拘泥于课本上的知识,可以更多的是向社会或企业当中的知识去研究。 ——说的好!

常见的分布式子系统

分布式存储

  1. GFS:google分布式文件系统
  2. Ceph:统一分布式存储
  3. Hadoop HDFS:基于GFS构架的开源分布式文件系统
  4. Zookeeper:高可用的分布式数据管理与系统协调框架

分布式数据库

  1. Google Spanner:google可扩展的,全球分布式的数据库
  2. TiDB:开源反不是关系型数据库
  3. HBase:开源Nodsql数据库
  4. MongoDB:文档数据库

分布式计算

  1. Hadoop:基于MapReduce 分布式计算框架
  2. Spark: 在Hadoop基础之上,使用内存存储数据
  3. YARN: 分布式资源调度

故障模型

  • Byzantine failure:节点可以任意篡改发送给其他节点的数据
  • ADB: 节点可以篡改数据,但不能伪造其它节点的数据
  • Performance failure: 节点末在特定时间段内收到数据,即时间太早或太晚
  • Omission failure:节点收到数据时间无限晚,即收不到数据
  • Crash failure: 在Omission failure的基础上,增加了节点停止响应的假设,也即持续性地Omission failure
  • Fail-stopfailure: 在Crash failure的基础上增加了错误可监测的假设

CAP理论

CAP理论往往运用于数据库领域,同样可以适用于分布式存储方向

  • CA:放弃分区容错性,加强一致和可用性,其实就是传统的单机数据库的选择
  • AP:放弃一致性(这里说的一致性是强一致性),追求分区容错和可用性,例如一些重要用户体验的系统
  • CP:放弃可用性,追求一致性和分区容错性,例如与钱财安全相关的系统