HDFS原理与应用 | 青训营笔记

Rainbow_Sea
93 阅读5分钟

这是我参与「第四届青训营 」笔记创作活动的的第8天

今天是大数据专场基础班的第八次课，主要内容是介绍HDFS的原理与应用，主要分为下面四个板块。

一、 HDFS基本介绍

1. Windows单机文件系统

image.png

2. Linux单机文件系统

  • BTRFS, ZFSXFS, EXT4
  • Linux目前支持将近100种文件系统

3. 分布式文件系统

  • 大容量
    • 更多的机器，更多的存储介质
  • 高可靠
    • 多个副本提高容错能力
  • 低成本
    • 不需要高端硬件来扩容

image.png

4. 分布式存储系统

  • 对象存储
  • 文件系统
  • 块存储
  • 数据库

5. HDFS 功能特性

  • 分布式
    • 受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
  • 容错
    • 自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
  • 高可用
    • 一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
  • 高吞吐
    • Client直接从DataNode读取用户数据,服务端支持海量client并发读写
  • 可扩展
    • 支持联邦集群模式，DataNode数量可达10w级别
  • 廉价
    • 只需要通用硬件，不需要定制高端的昂贵硬件设备

二、 架构原理

1. HDFS组件

image.png

2. Client写流程

image.png

3. Client读流程

image.png

4. 元数据节点NameNode

  • 维护目录树
    • 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致
  • 维护文件和数据块的关系
    • 文件被切分成多个块，文件以数据块为单位进行多副本存放
  • 维护文件块存放节点信息
    • 通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
  • 分配新文件存放节点
    • Client创建新的文件时候，需要有NameNode来确定分配自标DataNode

image.png

5. 数据节点DataNode

  • 数据块存取
    • DataNode需要高效实现对数据块在硬盘上的存取
  • 心跳汇报
    • 把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
  • 副本复制
    • 数据写入时Pipeline lO操作
    • 机器故障时补全副本

image.png

三、 关键设计

1. NameNode目录树维护

  • fsimage
    • 文件系统目录树
    • 完整的存放在内存中
    • 定时存放到硬盘上
    • 修改是只会修改内存中的目录树
  • EditLog
    • 目录树的修改日志
    • client更新目录树需要持久化EditLog后才能表示更新成功. EditLog可存放在本地文件系统，也可存放在专用系统上. NameNode HA方案一个关键点就是如何实现EditLog共享

image.png

image.png

2. NameNode 数据放置

  • 数据块信息维护
    • 目录树保存每个文件的块id
    • NameNode维护了每个数据块所在的节点信息
    • NameNode根据DataNode汇报的信息动态维护位置信息
    • NameNode不会持久化数据块位置信息
  • 数据放置策略
    • 新数据存放到哪写节点
    • 数据均衡需要怎么合理搬迁数据
    • 3个副本怎么合理放置

3. DataNode

  • 数据块的硬盘存放
    • 文件在NameNode已分割成block
    • DataNode以block为单位对数据进行存取
  • 启动扫盘
    • DataNode需要知道本机存放了哪些数据块
    • 启动时把本机硬盘上的数据块列表加载在内存中

4.1 HDFS 写异常处理:Lease Recovery

  • 租约:Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约(Lease)。
  • 情景:文件写了一半，client自己挂掉了。
  • 可能产生的问题:
    • 副本不一致
    • Lease无法释放
  • 解决方法:Lease Recovery

image.png

4.2 HDFS写异常处理: Pipeline Recovery

  • 情景: 文件写入过程中，DataNode侧出现异常挂掉了。
  • 异常出现的时机:
    • 创建连接时
    • 数据传输时
    • complete阶段
  • 解决方法: Pipeline Recovery

image.png

5. Client 读异常处理

  • 情景: 读取文件的过程，DataNode侧出现异常挂掉了
  • 解决方法: 节点Failover
  • 增强情景: 节点半死不过，读取很慢

image.png

6. 旁路系统

  • Balancer: 均衡DataNode的容量
  • Mover: 确保副本放置符合策略要求

7. 控制面建设

  • 可观测性设施
    • 指标埋点
    • 数据采集
    • 访问日志
    • 数据分析
  • 运维体系建设
    • 运维操作需要平台化
    • NameNode操作复杂
    • DataNode机器规模庞大
    • 组件控制面API

四、 应用场景

1. PySpark 读写 HDFS文件

  • 读取本地文件系上的文件
  • 把查询结果保存到本地文件
  • 读取HDFS上的文件
  • 把查询结果保存到HDFS上

2. ETL: Extract, Transform, Load

image.png

3. OLAP查询引擎

image.png

4. HBase

image.png

5. 机器学习

  • 原生支持HDFS读写
  • 通过Alluxio 访问HDFS
  • 修改源码增加对 HDFS的支持

6. 通用存储应用

image.png

引用参考

内容主要参考了李杰辉老师在「HDFS原理与应用」课程里所教授的内容，同时也参考了学员手册里第二节的内容，图片来自于老师的PPT，链接如下：

  1. 【大数据专场 学习资料三】第四届字节跳动青训营 - 掘金 (juejin.cn)
  2. ​‌‍‬⁠⁡⁢⁣⁤HDFS 原理与应用- 李杰辉- ppt.pptx - 飞书文档 (feishu.cn)
avatar
文章
阅读
粉丝