这是我参与「第四届青训营 」笔记创作活动的的第6天
课程资料
课程视频：live.juejin.cn/4354/yc_HDF…
课程PPT：bytedance.feishu.cn/file/boxcnW…
完整手册：bytedance.feishu.cn/docx/doxcnE…
一、HDFS基本介绍
- Hadoop技术体系
- 分布式存储系统
-
HDFS功能特性：
- 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
- 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
- 高可用：一主多备模式实现远数据高可用，数据多副本实现用户数据高可用
- 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
- 可扩展：支持联邦集群模式，DataNode数量可达10w级别
- 廉价：只需要通用硬件，不需要制定高端的昂贵硬件设备
二、架构原理
- Client写流程
- Client读流程
-
元数据节点NameNode
- 维护目录树：目录树的增删改查，保证修改持久化
- 维护文件和数据块的关系：文件被分割成多个块，文件以数据块为单位进行多副本存储
- 维护文件块存放节点信息：通过接受DataNode的心跳汇报，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
- 分配新文件存放节点：Client创建新文件的时候，需要由NameNode来分配目标DataNode存储数据块
-
数据节点DataNode：
- 数据块存取
- 心跳汇报
- 副本复制
三、关键设计
-
NameNode目录树设计，重点理解EditLog的设计，可类比关系型数据库中的Transaction Log概念。
- 仅在内存中修改：fsimage
- 需要立即保存到硬盘：EditLog
-
NameNode数据放置：数据分散在各个节点上，如何定位找到它们？
- 文件和数据块的映射关系
- 数据块的放置分布策略
-
DataNode设计：数据如何落盘存放？
- 数据块路径
- 启动扫盘获得本机文件块列表
-
Client读写链路的异常处理
- Server端异常
- Client端异常
- 慢节点
-
控制面建设：保障系统稳定运行
- HouseKeeping组件：比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
- 可观测性设施：比如系统指标监控设施等，帮助快速发现定位问题。
- 运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台。
