HDFS 架构与设计 | 青训营笔记

夜阑_
116 阅读4分钟

这是我参与「第四届青训营 」笔记创作活动的第 10天!

1、HDFS 架构原理

（1）关于 FDFS

  • HDFS（Hadoop Distributed File System）即分布式文件系统

  • Hadoop 技术体系 image.png

  • HDFS 功能特性：

    • 分布式：受 GFS 启发，用 Java 实现的开源系统，没有实现完整的 POSIX 文件系统语义。
    • 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器匿机等。
    • 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用。
    • 高吞吐：Client 直接从 DataNode 读取用户数据，服务端支持海量 Client 并发读写。
    • 可扩展：支持联邦集群模式，DataNode 数量可达10w级别。
    • 廉价：只需要通用软件，不需要定制高端的昂贵硬件设备。

（2）架构原理

  • HDFS 组件 image.png

  • Client 写流程 image.png

  • Client 读流程 image.png

  • 元数据节点 NameNode image.png

    • 维护目录树
      • 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致
    • 维护文件和数据块的关系
      • 文件被切割分成多个块，文件以数据块为单位进行多副本存放
    • 维护文件块存放节点信息
      • 通过接收 DataNode 的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所以副本所在的 DataNode 类表
    • 分配新文件存放地点 -Client 创建新文件的时候，需要有 NameNode 来确定分配目标 DataNode

  • 数据节点 DataNode image.png

    • 数据块存取
      • DataNode 需要高效实现对数据块在硬盘上的存取
    • 心跳汇报
      • 把存放在本机的数据块列表发送给 NameNode，以便 NameNode 能维护数据块的位置信息，同时让 NameNode 确定该节点处于正常存货状态
    • 副本复制
      • 数据写入时 Pipeline IO 操作
      • 机器故障时补全副本

2、HDFS 设计

（1）分布式存储系统基本概念

  • 容错能力
    • 能够处理绝大部分异常场景，例如服务器匿机、网络异常、磁盘故障和网络超时等。
  • 一致性模型
    • 为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的
  • 可扩展性
    • 分布式存储系统需要具备横向扩张 scale-out 的能力
  • 节点体系
    • 常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能
  • 数据放置
    • 系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略
  • 单机存储引擎
    • 在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效地存取硬盘数据

（2）关键设计

1.NameNode 目录树维护

image.png

  • fsimage
    • 文件系统目录树
    • 完整的存放在内存中
    • 定时存放到硬盘上
    • 修改是只会修改内存中的目录树 image.png
  • EditLog
    • 目录树的修改日志
    • client 更新目录树需要持久化 EditLog 后才能表示更新成功
    • EditLog 可存放在本地文件系统，也可存放在专用系统上
    • NameNode HA 方案一个关键点就是如何实现 EditLog 共享
2.NameNode 数据放置

image.png

  • 数据块信息维护
    • 目录树保存每个文件的块 id
    • NameNode 维护了每个数据块所在的节点信息
    • NameNode 根据 DataNode 汇报的信息动态维护位置信息
    • NameNode 不会持久化数据块位置信息 image.png
  • 数据放置策略
    • 新数据放到哪个节点
    • 数据均衡需要怎么合理搬迁数据
    • 3 个副本如何合理放置
3.DataNode

image.png

  • 数据块的硬盘存放
    • 文件在 NameNode 已分割成 block
    • DataNode 以 block 为单位对数据进行存取 image.png
  • 启动扫盘
    • DataNode 需要知道本机存放了哪些数据块
    • 启动时把本机硬盘上的数据块列表加载在内存中
4.HDFS 写异常处理：Lease Recovery

image.png

  • 租约
    • Client 要修改一个文件时，需要通过 NameNode 上锁，这个锁就是租约（Lease）
  • 情景
    • 文件写了一半时，client 自己挂掉了
    • 可能产生的问题：
      • 副本不一致
      • Lease 无法释放
  • 解决方法
    • Lease Recovery
5.HDFS 写异常处理：Pipeline Recovery

image.png

  • 情景
    • 文件写入过程中，DataNode 侧出现异常挂掉了
  • 异常出现的时机
    • 创建连接时
    • 数据传输时
    • complete 阶段
  • 解决方法
    • Pipeline Recovery
6.Client 读异常处理

image.png

  • 情景
    • 读取文件的过程，DataNode 侧出现异常挂掉了
  • 解决方法
    • 节点 Failover
  • 增强情景
    • 节点半死不过，读取很慢
7.旁路系统
  • Balancer：均衡 DataNode 的容量 image.png
  • Mover：确保副本放置符合策略要求 image.png
8.控制面建设
  • 可观测性设施
    • 指标埋点
    • 数据采集
    • 访问日志
    • 数据分析
  • 运维体系建设
    • 运维操作需要平台化
    • NameNode 操作复杂
    • DataNode 机器规模庞大
    • 组件控制面 API

3、应用场景

  • 使用 HDFS 的公司 image.png
  • 初窥大数据生态 image.png
  • OLAP 查询引擎 image.png
  • HBase image.png
  • 机器学习 image.png
  • 通用存储应用 image.png

参考：

1、Hadoop 简介和体系架构：blog.csdn.net/weixin_5880…

avatar
文章
阅读
粉丝