这是我参与青训营笔记活动的第七天
HDFS基本介绍
- HDFS：hadoop distribute file system
hadoop技术体系：
-
单机文件系统：windows，Linux
-
分布式文件系统
- 大容量：更多的机器，更多的存储介质
- 高可靠：多个副本提升容错
- 低成本：不需要高端硬件来扩容
架构原理
-
HDFS组件
-
Client：写流程
-
Clint读流程
-
元数据节点NameNode
- 维护目录树：维护目录树的增删改查，保证所有修改持久化，便于机器掉电不会造成数据丢失或不一致
- 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放
- 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
- 分配新文件存放节点：client创建新的文件的时候，需要namenode来确定分配目标DataNode
-
数据节点DataNode
-
数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
-
心跳汇报：把存在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
-
副本复制
- 数据写入时pipeline IO操作
- 机器故障时补全副本
-
关键设计
-
NameNode目录树维护
-
fsimage
- 文件系统目录树
- 完整的存放在内存中
- 定时存到硬盘上
- 修改是只会修改内存中的目录树
-
EditLog
- 目录树的修改日志
- client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可以存到本地系统，也可以存到专用系统
- NameNode HA 方案的一个关键点就是如何实现EditLog共享
-
-
NameNode数据放置
-
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
-
数据放置策略
- 新数据存放到哪些节点（分布式）
- 数据均衡需要怎么合理搬迁数据
- 3个副本怎么合理放置
-
-
DataNode
-
数据块的硬盘存放
- 文件在NameNode中已经被分割成 block
- DataNode以block为单位对数据进行存、存取
-
启动扫盘
- DataNode需要知道本机存放了哪些数据块（向namenode汇报）
- 启动时把本机硬盘的数据块列表加载到内存中
-
-
HDFS写异常处理：Lease Recovery
-
情景：文件写了一半，client自己挂掉了，可能产生的问题
- 副本不一致
- Lease（租约）无法释放
-
租约：Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease）
-
-
HDFS写异常处理：Pipeline recovery
-
情景：文件写入过程中，DataNode侧出现异常挂掉了
-
异常出现的时机
- 创建连接时
- 数据传输时
- complete阶段
-
解决方法：Pipeline recovery
-
-
Client读异常
- 情景：读取文件过程中，DataNode侧出现异常挂掉
- 解决方法：节点Failover
- 增强场景：节点半死不过，读取很慢
-
旁路系统
- balancer：均衡 DataNode的容量
- mover：确保副本放置符合策略要求（分布.....其他策略要求）
-
控制面建设
-
可观测性设施：指标监控、数据采集、访问日志、数据分析.....
-
运维体系建设
- 运维操作需要平台化
- NameNode操作复杂
- DataNode机器规模庞大
- 组件控制面API
-
应用场景
-
ETL
-
现有的OLAP查询引擎都提供对HDFS的支持
-
机器学习
