这是我参与「第四届青训营 」笔记创作活动的的第4天
一、本堂课重点内容
- HDFS架构
- HDFS关键设计
- 大数据应用场景
二、详细知识点介绍
1、HDFS架构
主要分为3个部分：Client、NameNode和DataNode。
Client写流程：
Client读流程：
元数据节点NameNode的职责如下：
- 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致；
- 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放；
- 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode列表；
- 分配新文件存放节点：Client创建新文件的时候，需要由NameNode来确定分配目标DataNode。
数据节点的主要职责如下：
- 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取；
- 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态；
- 副本复制：
- 数据写入时Pipeline IO操作
- 机器故障时补全副本
2、关键设计
a) NameNode目录树维护
b) NameNode数据放置
c) DataNode
d) HDFS写异常处理
e) Client读异常处理
d) 旁路系统
3、应用场景
HDFS是大数据应用层的基石，比如Spark、Flink、Tensorflow、MapReduce等都是依赖HDFS存储的。
三、课后个人总结
本节课学习了HDFS的基本架构、关键设计和应用场景，初步了解了HDFS的组成部分和实际应用，对后续分布式存储系统小项目的开发打下坚实的基础。
