这是我参与「第四届青训营 」笔记创作活动的第6天
HDFS基本介绍
Linux 单机文件系统：BTRFS, ZFS, XFS, EXT4（Linux目前支持近100种文件系统）
分布式文件系统
- 大容量：更多的机器，更多的存储介质
- 高可靠：多个副本提高容错能力
- 低成本：不需要高端硬件来扩容
HDFS功能特性：
- 分布式
- 容错：自动处理、规避多种错误场景
- 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
- 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
- 可扩展：支持联邦集群模式
- 廉价
架构原理
HDFS组件
- Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
- NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口
- 维护目录树
- 维护文件和数据块的关系
- 维护文件块存放节点信息
- 分配新文件存放节点
- DataNode：数据节点，存放实际用户数据
- 数据块存取：需要高效实现对数据块在硬盘上的存取
- 心跳汇报：把存放在本机的数据块列表发送给NameNode，让NameNode确定该节点处于正常的存活状态
- 副本复制：数据写入时pipeline IO操作；机器故障时补全副本
关键设计
分布式存储系统的基本概念
- 容错能力
- 一致性模型：数据多副本存放，保障多个副本的内容都是一致的
- 可扩展性：具备横向扩张scale-out的能力
- 节点体系：常见的有主从模式、对等模式等
- 数据放置：数据存放的策略
- 单机存储引擎：根据系统特点，如何高效地存取硬盘数据
NameNode目录树维护
fsimage
- 文件系统目录树
- 完整地存放在内存中
- 定时存放到硬盘上
- 修改只会修改内存中的目录树
EditLog
- 目录树的修改日志
- client更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode HA方案一个关键点就是如何实现EditLog共享
NameNode数据放置
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
数据放置策略
- 新数据存放在哪些节点？
- 数据均衡需要怎么合理搬迁数据？
- 3个副本怎么合理放置？
DataNode
数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
