分布式概述与理论基础 | 青训营笔记

90 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 7 天

今天主要是理论学习,这里贴一下我的理论总结

分布式概述

什么是分布式

分布式系统是计算机程序的集合,这些程序利用跨多个独立计算节点的计算资源来实现共同的目标。

分布式可以分为:分布式计算、分布式存储和分布式数据库等

分布式的优点

  1. 去中心化
  2. 低成本
  3. 弹性
  4. 资源共享
  5. 可靠性高

常见的分布式系统

存储

  • Google File System(GFS): google分布式文件系统
  • Ceph:统一的分布式存储系统
  • Handoop HDFS:基于GFS架构的开源分布式文件系统
  • Zookeeper:高可用的分布式数据管理与系统协调框架

数据库

  • Google Spanner:google的可扩展的、全球分布式的数据库
  • TiDB:开源分布式关系型数据库
  • HBase:开源Nosql数据库
  • MongoDB:文档数据库

计算

  • Hadoop:基于MapReduce的分布式计算框架
  • Spark:在Hadoop基础之上,使用内存来存储数据
  • YARN:分布式资源调度

系统模型

故障模型

  • Byzantine failure:拜占庭故障,节点可以任意篡改发送给其他节点的数据
  • Authentication detectable byzantine failure(ADB):拜占庭故障的特例,节点可以篡改数据,但不能伪造其他节点的数据
  • Performance failure:节点未在特定时间内收到数据,即时间太早或太晚
  • Omission failure:节点收到数据的时间无限晚,即收不到数据
  • Crash failure:在omission的基础上,增加了节点停止响应的假设,也就是持续性的omission failure
  • Fail-stop failure:在Crash failure的基础上增加了错误可以检测的假设

理论基础

CAP理论

选项描述
C(Consistence)一致性,指的是数据在多个副本间可以保持一致的特性(严格一致)
A(Availability)可用性,指的是系统提供的服务必须一直处于可用状态,每次请求都能获得非错的响应,保证数据为最新数据
P(Network partitioning)分区容错性,分布式系统在遇到任何网络分区故障的时候,仍然能够对外提供满足一致性和可用性的服务,除非整个网络环境都发生了故障

CAP理论往往运用于数据库领域,同样可以适用于分布式存储方向

CA:放弃分区容错性,加强一致性和可用性,也就是传统的单机数据库

AP:放弃一致性(严格一致),追求分区容错和可用性,例如一些注重用户体验的系统

CP:放弃可用性,追求一致性和分区容错性,例如与钱财安全相关的系统

ACID理论

事务是数据库系统中非常重要的概念,它是数据库管理系统执行过程中的一个逻辑单元,它能够保证一个事物中所有操作要么全部执行,要么全都不执行

数据库事务拥有四个特性ACID

选项描述
A(Atomicity)原子性,事务包含的所有操作要么全部成功,要么全部失败回滚
C(Consistency)一致性,事务必须使得数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事物执行之前和执行之后都必须处于一致性状态
I(Isolation)隔离性,当多个用户并发访问数据库时,数据库为每一个用户开启的事务,不能被其他事务的操作干扰,多个并发事务之间要隔离
D(Durability)持久性,一个事务一旦被提交了,那么对数据库中的数据的改变就是永久性的,即使是在数据库系统遇到故障的情况下也不会丢失提交事务的操作