HDFS原理与应用 | 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的的第8天，本篇笔记主要是关于第八次大数据课程《HDFS原理与应用》的课堂笔记

---

HDFS：Hadoop Distributed File System

• 计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。 文件系统：
• 单机文件系统：常见的如Windows NTFS，Linux的Ext4，虽然不同的操作系统和实现，但是本质都是一样的，解决相同的问题。
• 分布式文件系统：本质上扩展、延伸了单机文件系统。
  1. 大容量：更多的机器,更多的存储介质
  2. 高可靠：多个副本提高容错能力
  3. 低成本：不需要高端硬件来扩容 HDFS功能特性：

1. 分布式：受GFS启发,用Java实现的开源系统，没有实现完整的POSIX文件系统语义
2. 容错：自动处理、规避多种错误场景,例如常见的网络错误、机器宕机等
3. 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
4. 高吞吐：Client直接从DataNode读取用户数据,服务端支持海量client并发读写
5. 可扩展：支持联邦集群模式，DataNode数量可达10w级别。
6. 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备

架构原理

HDFS组件：

• 写流程
• 读流程
• 元数据节NameNode

1. 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
2. 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放
3. 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息,维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
4. 分配新文件存放节点：Client创建新的文件时候,需要有NameNode来确定分配目标DataNode

• 数据节点DataNode

1. 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
2. 心跳汇报：把存放在本机的数据块列表发送给NameNode ,以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
3. 副本复制：
   1. 数据写入时Pipeline IO操作
   2. 机器故障时补全副本

• Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。

---

关键设计：

分布式存储系统

1. 容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。
2. 一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的。
3. 可扩展性：分布式存储系统需要具备横向扩张scale-out的能力。
4. 节点体系：常见的有主从模式、对等模式等,不管哪种模式，高可用是必须的功能。
5. 数据放置：系统是由多个节点组成,数据是多个副本存放时，需要考虑数据存放的策略。
6. 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化,单机引擎需要解决的是根据系统特点，如何高效得存取硬盘数据。

NameNode目录树维护

• fsimage
  • 文件系统目录树
  • 完整的存放在内存中
  • 定时存放到硬盘上
  • 修改是只会修改内存中的目录树 若断电，则之前的数据都会丢失，所以出现了EditLog
• EditLog
  • 目录树的修改日志
  • client更新目录树需要持久化EditLog后才能表示更新成功
  • EditLog可存放在本地文件系统,也可存放在专用系统上
  • NameNode HA方案一个关键点就是如何实现EditLog共享

仅在内存中修改：fsimage

需要立即保存到硬盘：EditLog

• 数据块信息维护

1. 目录树保存每个文件的块id
2. NameNode维护了每个数据块所在的节点信息
3. NameNode根据DataNode汇报的信息动态维护位置信息
4. NameNode不会持久化数据块位置信息

• DataNode

1. 文件在NameNode已分割成block
2. DataNode以block为单位对数据进行存取

• HDFS写异常处理： 情景：文件写了一半，client挂掉了。可能产生的问题：

1. 副本不一致 解决方法： 比较系统中每三个副本的内容大小，若它们的大小不一致则选择最小的长度，作为最终的版本，然后更新其他副本。

2. Lease无法释放 租约：Client要修改一个文件时，需要通过NameNode.上锁,这个锁就是租约(Lease)。

解决方法：客户端拿到作业时需要定期续租，如果挂掉了就没法续约，NameNode就会判断它挂掉，此时若有其他进程要拿作业，就会把以前的客户端t掉。

情景：文件写入过程中，DataNode侧出现异常挂掉了：

出现的时机：

• 创建连接时
• 数据传输时
• complete阶段 解决方法： Pipeline Recovery
• Client读异常处理： 情景：读取文件的过程，DataNode侧出现异常挂掉了

解决方法：节点Failover（换一个NameNode结点读取数据）

控制面建设：保障系统稳定运行：

• HouseKeeping组件：比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
• 可观测性设施：比如系统指标监控设施等，帮助快速发现定位问题。
• 运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台。