HDFS 原理与应用 - 复习笔记
这是我参与「第四届青训营 」笔记创作活动的的第9天！
1. HDFS基本介绍
Hadoop 技术体系
1.1 Windows 单机文件系统
1.2 Linux 单机文件系统
BTRFS,ZFS，XFS,EXT4
1.3 分布式文件系统
- 大容量
更多的机器，更多的存储介质 - 高可靠
多个副本提高容错能力 - 低成本
不需要高端硬件来扩容
1.4 分布式存储系统
1.5 HDFS功能特性
- 分布式
受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义 - 容错
自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等。 - 高可用
一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用 - 高吞吐
Client直接从DataNode读取用户数据，服务端支持海量client并发读写 - 可拓展
支持联邦集群模式，DataNode数量可达10w级别 - 廉价
只需要通用硬件，不需要定制高端的昂贵硬件设备
1.6 演示环境-HDFS节点
2. 架构原理
2.1 HDFS组件
2.2 Client 写流程
2.3 Client 读流程
2.4 元数据节点NameNode
- 维护目录树
维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。 - 维护文件和数据块的关系
文件被切分成多个块，文件以数据块为单位进行多副本存放 - 维护文件块存放节点信息
通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。 - 分配新文件存放节点
Client创建新的文件时候，需要有NameNode来确定分配目标DataNode
2.5 数据节点 DataNode
- 数据块存取
DataNode需要高效实现对数据块在硬盘上的存取 - 心跳汇报
把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态 - 副本复制
1.数据写入时Pipeline IO操作
2.机器故障时补全副本
3. 关键设计
3.1 NameNode 目录树维护
- fsimage
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改是只会修改内存中的目录树
- EditLog
- 目录树的修改日志
- cdient更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode HA方案一个关键点就是如何实现EditLog共享
3.2 NameNode 数据放置
- 数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
- 数据放置策略
- 新数据存放到哪写节点
- 数据均衡需要怎么合理搬迁数据
- 3个副本怎么合理放置
3.3 DataNode
- 数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
- 启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
3.4 HDFS 写异常处理
3.4.1 HDFS 写异常处理：Lease Recovery
- 租约：client 要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease）。
- 情景：文件写了一半，client自己挂掉了。
可能产生的问题：- 副本不一致
- Lease无法释放
- 解决方法：Lease Recovery
3.4.2 HDFS写异常处理：Pipeline Recovery
- 情景：文件写入过程中，DataNode侧出现异常挂掉了。
- 异常出现的时机：
- 创建连接时
- 数据传输时
- complete阶段
- 解决方法：Pipeline Recovery
3.5 Client 读异常处理
- 情景：读取文件的过程，DataNode侧出现异常挂掉了
- 解决方法：节点 Failover
- 增强情景：节点半死不过，读取很慢
3.6 旁路系统
- Balancer.均衡 DataNode的容量
- Mover：确保副本放置符合策略要求
3.7 控制面建设
- 可观测性设施
- 指标埋点
- 数据采集
- 访问日志
- 数据分析
- 运维体系建设
- 运维操作需要平台化
- NameNode 操作复杂
- DataNode 机器规模庞大
- 组件控制面API
