这是我参与「第四届青训营」笔记创作活动的的第3天

1.HDFS基本介绍

HDFS功能特性：

• 分布式
• 容错
• 高可用
• 高吞吐
• 可扩展
• 廉价

2.HDFS架构原理

三大件：Client/SDK，NameNode，DataNode

Client端

Client写流程：

Client读流程：

元数据节点NameNode

• 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
• 维护文件和数据块的关系:文件被分成多个块，文件以数据块为单位进行多副本存放。
• 维护文件块存放节点信息：通过接受DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
• 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode。

数据节点DataNode

• 数据块存储：DataNode需要高效实现对数据块在硬盘上的存取
• 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
• 副本复制：1.数据写入时Pipeline IO操作 2.机器故障时补全副本

3.关键设计

NameNode目录树设计：

• fsimage：文件系统目录树。完整的存放在内存中，定时存放到硬盘上，修改是只会修改内存中的目录树
• editlog：目录树的修改日志。client更新目录树需要持久化editLog后才能表示更新成功，editLog可存放在本地文件系统，也可存放在专用系统上，NameNode HA方案一个关键点就是如何实现EditLog共享

NameNode副本放置：

• 数据块信息维护：目录树保存每个文件的块id，NameNode维护了每个数据块所在的节点信息，NameNode根据DataNode汇报的信息动态维护位置信息，NameNode不会持久化数据块位置信息

DataNode设计：

• 数据块的硬盘存放：文件在NameNode已分割成block，DataNode以block为单位对数据进行存取
• 启动扫盘：DataNode需要知道本机存放了哪些数据块，启动时把本机硬盘上的数据块列表加载在内存中

HDFS写异常：

租约：Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease）。

• 文件写了一半。Client自己挂掉了。
  可能产生副本不一致，Lease无法释放的问题。
  解决办法：Lease Recovery
• 文件写入过程中，DataNode侧出现异常挂掉了。
  解决办法：Pipeline Recovery

Client读异常处理：

读取文件时DataNode侧出现异常挂掉了。
解决办法：节点Failover

旁路系统

• Balancer：均衡DataNode容量
• Mover：确保副本放置符合策略要求