这是我参与「第四届青训营」笔记创作活动的第11天

HDFS 原理与应用

01.HDFS基本介绍

Q:为什么需要分布式文件系统？

A:大容量：更多的机器，更多的存储介质、高可靠：多个副本提高容错能力、低成本：不与要高端硬件来扩容

HDFS功能特性：

分布式：受GFS启发，用Java实现

容错：自动处理多种错误场景

高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用

高吞吐：服务端支持海量client并发读写

可扩展：支持联邦集群模式，DataNode数量可达10w级别

廉价：只需要通用硬件、不需要定制高端的昂贵硬件设备

02.架构原理

HDFS组件：

Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。

NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。

DataNode：数据节点，存放实际用户数据。

Client写流程：

Client读流程：

元数据节点NameNode：

维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。

维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放

维护文件块存放节点信息：通过接收DataNodel的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表

分配新文件存放节点：Client创建新的文件的时侯，需要有NameNode来确定分配目标DataNode

数据结点：

数据块存取：DataNode 需要高效实现对数据块在硬盘上的存取

心跳汇报：把存放在本机的数据块列表发送给NameNode ,以便 lameNode 能维护数据块的位置信息，同时让NameNode 确定该节点处于正常存活状态

副本复制：1.数据写入时Pipeline 操作 2.机器故障时补全副本

03.关键设计

分布式存储系统基本概念：

01.容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。

02.一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的

03.可扩展性：分布式存储系统需要具备横向扩张scale -out的能力

04.节点体系：常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能

05.数据放置：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略

06.单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效得存取硬盘数据。

NameNode目录树设计，重点理解EditLog的设计，可类比关系型数据库中的Transaction Log概念。