HDFS原理与应用 ｜ 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的第5天

HDFS介绍

HDFS即Hadoop Distributed File System， 技术体系如下：

HDFS功能特性

1. 分布式 受GFS启发，用Java实现的开源系统，没有实现完整的POSX文件系统语义
2. 容错 自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
3. 高可用 一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
4. 高吞吐 Client直接从DataNode读取用户数据，服务端支持海量client并发读写
5. 可扩展 支持联邦集群模式，DataNode数量可达1Ow级别
6. 廉价 只需要通用硬件，不需要定制高端的昂贵硬件设备

架构原理

元数据节点NameNode

• 维护目录树 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
• 维护文件和数据块的关系 文件被切分成多个块，文件以数据块为单位进行多副本存放
• 维护文件块存放节点信息 通过接收DataNodel的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
• 分配新文件存放节点 Clientt创建新的文件时候， 需要有NameNode来确定分配目标DataNode

数据节点DataNode

• 数据块存取 DataNode需要高效实现对数据块在硬盘上的存取
• 心跳汇报 把存放在本机的数据块列表发送给NameNode,以便 NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
• 副本复制 1. 数据写入时Pipeline IO操作
  2. 机器故障时补全副本

分布式存储系统基本概念

1. 容错能力 能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。
2. 一致性模型 为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的
3. 可扩展性 分布式存储系统雲要具备横向扩张scale-out的能力
4. 节点体系 常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
5. 数据放置 系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存的策略
6. 单机存储引擎 在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特 点，如何高效得存取硬盘数据。