GFS第二讲--元数据以及数据一致性

182 阅读6分钟

元数据 MetaData

论文中的MetaData特指存储在Master中的信息,都存储在内存之中,它包括3个部分:

  • 文件和数据块的命名空间[nameSpace]。
  • 文件与数据块的对应关系
  • 每个数据块及其副本的位置信息

其中,前两项使用操作日志的方法持久化到了磁盘。而第三部分--位置信息 则由chunkServer在心跳通信时进行上报更新。 值得注意的是,数据放入内存确实能提高响应速度,但GFS整体可存放的数据大小将受内存大小限制,且GFS系统是单一master,无法横向扩展,分布式存储元数据。为了节省宝贵的内存,我们使用前缀树这一结构存储我们的命名空间。

操作日志

操作日志记录了元数据中,命名空间及数据块对应关系的改动(历史记录)。采用追加写入的方式,天然的提供了修改操作的顺序性。一旦操作被记录下来,就能通过 文件、数据块、时间戳(三者组成联合主键)唯一且持久化的确认一条操作记录。

记录操作日志和修改内存中的元数据这两项操作应当对Client保持 原子性、可见性和持久性。

  • 原子性。只有写日志和修改内存 都成功了,此次操作才视为成功。如果修改内存失败,则可以通过回放日志的方式进行恢复。
  • 可见性。Client只获取内存中的元数据信息,因此将修改内存的操作放在最后。
  • 持久性。操作日志持久化到磁盘,并且,为了增强容错性,将制作副本存入其他机器。

由于操作日志是不断的追加写入,该文件会变得越来越大。因此设立了检查点[checkPoint]机制,来为文件瘦身。

  • checkPoint信息和结构与内存中的元数据一致,这样无需解析就可以加载到内存空间。
  • 为了不使Master对外停止服务,创建checkPoint使用的是切换文件机制:
    • 当日志文件增长到某一大小时,切换到一个新的日志文件上记录操作,旧的日志文件用来建立checkPoint。
  • 拥有了检查点后的恢复作业只需执行最近一次检checkPoint及其之后的操作记录即可。
  • 同样是容错性考虑,可以选择保留最近n+1次的checkPoint和相应的日志文件。

数据一致性

由于有数据副本的存在,对一个数据块的改动操作,除了会在本机的数据块上执行外,还需要同步到副本块上执行完成,才算是修改成功(要保证原子性)。根据CAP理论和BASE理论,GFS并不保证数据的强一致性(C),而只要求基本可用(BA)。因此,GFS的一致性级别由高到低分别为:

  • Defined 可预期的。客户端读取任意副本的结果都一样 且 在并行情况下,自己的修改和预期一致。
  • Consistent 一致的。所有的客户端读取到的数据都是一样的,无论它们读的是哪一个副本。但不保证副本内部数据的正确性(由并发修改引起的数据覆盖、重复等)。
  • Undefined 不可预期的。 并发情况下造成的数据交叉、进而引发类似MySQL中的不可重复读问题。
  • Inconsistent 不一致的。 在不同时段,不同客户端查询同一块的结果都不相同。

GFS落实一致性的方法

GFS采用追加写入+检查点机制的方式来实现宽松的一致性模型。

  • 记录的追加写入采用最少一次(at-least-once)方式,虽然会产生重复数据,但可以保证记录的持久化。
  • 在数据块上使用的checkPoint包括了该数据块的校验和。使用该校验和,客户端在读取时可以识别并丢弃填充字符和片段。 客户端在读取数据的时候,通过使用校验和来识别并丢弃填充字符,通过使用唯一标记将重复记录过滤出来。

加餐部分

🎁论文原文中的状态[State]一词该如何理解? 🗝状态,是相对于检查点,或者说是存档机制来说的(checkPoint的另一种翻译)。指代的是需要持久化的信息的集合。例如我们在玩电子游戏,打最终Boss时的存档动作。游戏中的存档是什么呢?我们角色的血量、金币、健康度等状态,还有世界坐标、关卡等信息。 🗝需要存什么,由游戏开发者决定。而相应的,我们的状态需要持久化哪些信息,由app的开发者决定。 🗝如果挑战Boss失败了,通过读档,我们还可以重新挑战。相应的,我们在checkPoint之后的操作失败了,也可以借助存档来快速恢复。

🎁为什么数据块不存储在Master,而是由各个server定期上报?

  1. chunkServer的加入、离开、修改文件名、出错、重启等能够影响位置信息的情况实在是太多而且太频繁。采用chunkServer直接汇报的方式,一方面规避了这些情况下的处理,另一方面可以最大限度的减少master-chunkServer之间的通信,节省带宽。
  2. chunkServer的职责就是负责数据块的存储,它离位置信息是最近的。那么,在master上再去存一份一样的位置信息是没有多大意义的。

🎁为什么会有一致性问题? 🗝GFS系统中,任何数据块都存在副本,而因为网络的不可靠,将一份内容同步到多个备份是需要时间的。(并非原子性的)在这个时间段内,任何一个部件(client,chunkserver以及网络而)出现问题,就会造成副本的不一致。

🎁一致性和defined在GFS系统中到底指的是什么?

  • 一致性:任何一个副本都是一模一样的(但不保证它是defined的),因此无论何时、多少客户端去读取,看到的都是相同数据。
  • defined:客户端的任何一个写操作都可以查到相应日志记录。
  • undefined:通常客户端是发送一组写操作的,此时有多个客户端进行写操作时,就可能造成数据交叉,进而引发类似于MySQL事务中的 不可重复读 问题。

🎁最少一次[at-least-once] 的理解 🗝数据在c-s的传输过程中,受到网络超时的影响,可能会发生两种结果:传送过程出现问题,服务端没有收到数据。返回成功消息时出现问题,服务端已经接收到消息。

  • at-least-once 特指 在 接收方已经接收到消息但返回成功消息时出现问题,发送方将采取重复发送的方式。即接收方会收到多条重复数据,需要接收方支持幂等性。
  • at-most-once 与at-least-once相反,发送方只发送一次数据,也不关心接收方是否收到