这是我参与「第四届青训营 」笔记创作活动的第6天
HDFS基本介绍
hadoop技术栈
存储层：HDFS
调度层：YARN
计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。
分布式文件系统特点
- 大容量：更多的机器、更多的存储介质
- 高可靠：多个副本提高容错能力
- 低成本：不需要高端硬件来扩容
HDFS功能特性
- 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
- 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
- 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
- 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量Client并发读写
- 可扩展：支持联邦集群模式，DataNode数量可达10W级别
- 廉价：只需要通过硬件，不需要定制高端的昂贵硬件设备
HDFS结构原理
HDFS组件
- Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
- NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。
- DataNode：数据节点，存放实际用户数据。
Client写流程
Client读流程
元数据节点NameNode功能
- 维护目录树：目录树的增删查改，保证所有修改都能持久化
- 维护文件和数据块的关系：文件被分成多个块，文件以数据块为单位多副本存放
- 维护文件块存放节点信息：维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
- 分配新文件存放节点：Client创建新文件时，需要有NameNode来确定分配目标DataNode
数据节点DataNode功能
- 数据块存储
- 心跳汇报：和NameNode联系，发送本机数据块列表
- 副本复制：机器故障时补全副本
HDFS关键设计
分布式存储系统基本概念
- 容错能力
- 一致性模型：保证容错，数据要多副本存放，保证多个数据副本内容都是一致的；
- 可扩展性：加节点；
- 节点体系：主从模式/对等模型，必须保证高可用；
- 数据放置：NameNode决定数据放在哪些节点；
- 单机存储引擎：数据需要落盘持久化，根据系统特点如何高效存取硬盘数据。
NameNode目录树维护
fsimage
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改是只会修改内存中的目录树
EditLog
- 目录树的修改日志
- Client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可以存放在专用系统上
- NameNode HA方案一个关键点就是如何实现EditLog共享
NameNode数据放置
数据块信息维护
- 目录树保存每个文件的块ID
- NameNode维护了每各数据块所在的结点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
数据放置策略
- 新数据存放到哪些节点
- 数据均衡怎么合理搬迁数据
- 3个副本怎么合理放置
DataNode
数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
HDFS写异常处理
Lease Recovery
情景：文件写了一半，client自己挂掉了，可能产生的问题：
- 副本不一致
- Lease无法释放
租约lease：Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约
如何解决副本不一致：比较系统三个副本内容大小（长度），选择最小的作为最终版本更新，最终的写入结果
Lease无法释放：客户端定期续租，如果超过设定时间，踢掉挂掉的client
pipeline Recovery
情景：文件写入过程中，DataNode侧出现异常挂掉了
出现的时机：
- 创建连接时：重新选一个节点
- 数据传输时：如果有一个节点挂了，pipeline到重新构建阶段，将坏的节点摘除
- complete阶段：pipeline重新构建，重新选节点
解决方法：Pipeline Recovery
HDFS读异常处理
情景：读取文件的过程，DataNode侧出现异常挂掉了；
解决办法：节点Failover；
增强情景：节点半死不过，读取很慢，节点切换；
检测出快/慢，客户端网络问题导致的慢（客户端不断切换节点）
旁路系统
异步的处理一些系统运行中不断产生并恶化的问题
解决方法：
- Balancer：均衡DataNode的容量
- Mover：确保副本放置符合策略要求，NameNode选择块放在哪里，分布在不同DataNode，且在两个不同的机架上
控制面建设
为了保障系统稳定性
可观测性设施：快速发现定位问题
- 指标埋点
- 数据采集
- 访问日志
- 数据分析
运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台
- 运维操作需要平台化;
- NameNode操作更复杂;
- DataNode机器规模庞大;
- 组件控制面API
\
