HDFS 原理与应用 | 青训营笔记
今天是我参加青训营笔记的第8天。
今天的笔记主要分为以下四部分：
HDFS基本介绍
Hadoop Distributed File System
功能特性
- 分布式
- 容错：自动处理、规避多种错误场景
- 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
- 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
- 可扩展：支持联邦集群模式，DataNode数量可达10w级别
- 廉价：只需要通用硬件
HDFS的架构原理
HDFS架构介绍和组件用途
HDFS组件
Client写流程
Client读流程
元数据节点NameNode
- 维护目录树
- 维护文件和数据块的关系
- 维护文件块存放节点信息
- 分配新文件存放节点
数据节点DataNode
- 数据块存储
- 心跳汇报
- 副本复制
HDFS关键设计
分布式存储系统基本原理
- 容错能力：自动处理、规避多种错误场景。例如服务器宕机，网络异常，磁盘故障……
- 一致性模型：为了实现容错，数据必须多副本存放，一致性模型要解决的问题是如何保障这么多副本的内容是一致的
- 可扩展性：分布式存储系统需要具备横向扩张scale-out的能力
- 节点体系：常见的有主从模式，对等模式……
- 数据放置：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略
- 单机存储引擎：解决根据系统特点，如何高效存取硬盘数据
HDFS各组件的重要设计
目录树维护
fsimage:
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改是只会修改内存中的目录树
EditLog:
- 目录树的修改日志
- client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode HA方案一个关键点就是如何实现EditLog共享
NameNode数据放置
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据库的位置信息
数据放置策略
- 新数据存放到哪些节点？
- 数据均衡需要怎么合理搬迁数据?
- 副本怎么合理防止？
DataNode
数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
HDFS写异常处理：Lease Recovery
情景：文件写了一半，client自己挂掉了，可能产生的问题：
- 副本不一致
- Lease（租约）无法释放
租约：Client要修改一个文件时，需要NameNode上锁，这个锁就是租约
解决方法：Lease Recovery
HDFS写异常处理：Pipeline Recovery
情景：文件写入过程中，DataNode侧出现异常挂掉了
异常出现的时机：
- 创建连接时
- 数据传输时
- complete阶段
解决方案：Pipeline Recovery
Client读异常处理
情景：读取文件的过程，DataNode侧出现异常挂掉了
解决方法：节点Failover
增强情景：节点半死不活，读取很慢
旁路系统
异步解决积累恶化问题
