这是我参与「第四届青训营 」笔记创作活动的第8天
分布式文件系统
- 大容量
更多的机器，更多的存储介质 - 高可靠
多个副本提高容错能力 - 低成本
不需要高端硬件扩展
HDFS功能特性
- 分布式
受GFS启发，可以统一管理分布在不同机器上的数据 - 容错
能自动处理规避多种错误场景，例如常见的网络错误、机器宕机 - 高可用
一主多备实现元数据的高可用，数据多副本实现用户数据的高可用 - 高吞吐
Client直接从DataNode读取用户数据，服务端支持海量client并发读写 - 可扩展
支持联邦集群模式，DataNode数量可达10w级别 - 廉价
只需要通用硬件，不需要定制高端的昂贵硬件设备
HDFS组件
- Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的，无论读写都需要向NameNode发送请求。
- NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。
- DataNode：数据节点，存放实际用户数据，一般会有三个副本。
NameNode
- 维护目录树
维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致 - 维护文件和数据块的关系
文件被切分为多个块，文件以数据块为单位进行多副本存放 - 维护文件块存放结点信息
通过接收DataNode的心跳汇报信息，维护集群结点的拓扑结构和每个文件块所有副本所在的DataNode类表 - 分配新文件存放节点
Client创建新文件时，需要有NameNode确定分配目标DataNode
DataNode
- 数据块存取
DataNode需要高效实现对数据块在硬盘上的存取 - 心跳汇报
将存放在本机的数据块列表发送给NameNode，以便NameNode维护数据块的位置信息（因为NN存放元数据信息），同时让NameNode确定该节点处于正常存活状态 - 副本复制
数据写入时进行Pipeline IO操作；机器故障时补全副本
分布式存储系统基本概念
- 容错能力
能处理绝大部分异常场景 - 一致性模型
为了实现容错，数据必须多副本存放，解决的问题是如何保证副本内容一致性 - 可扩展性
分布式存储系统需要具备横向扩张scale-out的能力 - 节点体系
常见的有主从模式、对等模式等、不管哪种模式，高可用是必须的功能 - 数据放置
系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略 - 单机存储引擎
在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的事根据系统特点，如何高效存取硬盘数据
NameNode 目录树维护
-
fsimage（仅在内存中修改）
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改只会修改内存中的目录树
-
EditLog（需要立即保存到硬盘）
- 目录树的修改日志
- client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode HA方案关键点就是如何实现EditLog共享
NameNode 数据放置
数据块信息维护：
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
数据放置策略：
- 新数据存放到哪些节点
- 数据均衡需要怎么合理搬迁数据
- 3个副本怎么合理放置
DataNode
数据块的硬盘存放：
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
启动扫盘:
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
HDFS写异常处理：Lease Recovery
- 租约：Client 要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease）。
- 情景：文件写了一半，client自己挂掉了。
- 可能产生的问题：副本不一致、Lease无法释放
- 解决方法：Lease Recovery
HDFS写异常处理：Pipeline Recovery
- 情景：文件写入过程中，DataNode侧出现异常挂掉了
- 异常出现的时机：创建连接时（Pipeline重新选择）、数据传输时（Pipeline重新构建）、complete阶段（Pipeline重新衔接、构建）
- 解决方法：Pipeline Recovery
Client读异常处理
- 情景：读取文件的过程，DataNode侧出现异常挂掉了
- 解决方法：节点Failover
- 增强情景：半死不活，读取很慢怎么办，则client手动切换节点
旁路系统
- Balancer：均衡DataNode的容量：某些节点满但其他节点很空 -> 平均化
- Mover：确保副本放置符合策略要求
控制面建设
保障系统稳定运行
- HouseKeeping组件：比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
- 可观测性设施：比如系统指标监控设施等，帮助快速发现定位问题。
- 运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台。
