HDFS原理与应用 | 青训营笔记
这是我参与「第四届青训营 」笔记创作活动的的第10天
上节课我们学习了Presto的架构和原理，也学习了大数据和OLAP的演进，今天我们来学习一下HDFS的原理和应用
HDFS基本介绍
Hadoop分布式文件系统(HDFS) 是指被设计成适合运行在 通用硬件(commodity hardware) 上的分布式文件系统（Distributed File System）。
它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 Hadoop技术体系如下：
分布式文件系统
分布式文件系统具有如下优点：
- 大容量：更多的机器，更多的存储介质
- 高可靠：多个副本提高容错能力.
- 低成本：不需要高端硬件来扩容
HDFS功能特性
-
1.分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
-
2.容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等。
-
3.高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
-
4.高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
-
5.可扩展：支持联邦集群模式，DataNode数量可达10w级别
-
6.廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备
架构原理
HDFS组件如下：
当Clinet需要写的时候，会执行以下流程
当Clinet需要读的时候，会执行以下流程
元数据节点 NameNode
-
维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致
-
维护文件和数据块的关系：文件被切成多个块，文件以数据块为单位进行多副本存放
-
维护文件快存放节点信息：通过接受DataNode的心跳汇报信息，维护集群系欸但的拓扑结构和每个文件块所有副本所在的DataNode类表
-
分配新文件存放节点：Client创建新的文件时候，需要由NameNode来确定分配目标DataNode
数据结点DataNode
-
数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
-
心跳汇报：把存放在本机的数据块 列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
-
副本复制：数据写入时Pipeline IO操作、机器故障时补全副本
关键设计
NameNode目录树维护
fsimage:
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改时只会修改内存中的目录树
EditLog:
- 目录树的修改日志
- client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode Ha方案一个关键点就是如何实现EditLog共享
NameNode数据放置
数据块信息维护：
- 目录树保存每个文件的块ID
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
HDFS写异常处理：Lease Recovery
Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease），当文件写了一半时，client挂了可能产生的问题：副本不一致、Lease无法释放，这时就需要Lease Recovery了
HDFS写异常处理：Pipeline Recovery
同样的，当文件写入过程中，DataNode侧出现异常挂掉了，就需要PipelineRecovery了
旁路系统
控制面建设：
可观测性设施：指标埋点、数据采集、访问日志、数据分析
运维体系建设：运维操作需要平台化、NameNode操作复杂、DataNode机器规模庞大、组件控制面API
