这是我参与「第五届青训营」笔记创作活动的第十三天

一、HDFS基本介绍

功能特性：

• 分布式：受GFS启发，用Java实现的开源系统，没有实现完整点的POSIX文件系统语义
• 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
• 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
• 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
• 可扩展：支持联邦集群模式，DataNode数量可达10w级别
• 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备

二、架构原理

1、HDFS组件

有Client、NameNode、DataNode三个模块

2、Client写流程

• 请求写入新数据库
• 返回副本目标DN列表
• 写数据块
• ACK
• Flush发送complete请求

3、Client读流程

• getBlockLocations请求
• 返回副本目标DN列表
• 读取数据块

4、元数据节点NameNode

• 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致
• 维护文件和数据块的关系：文件被切分成多个快，文件以数据块为单位进行多副本存放
• 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
• 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode
• 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
• 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
• 副本复制：数据写入时Pipeline IO操作、机器故障时补全副本