HDFS原理与应用｜ 青训营笔记

Iekr
114 阅读6分钟

HDFS原理与应用｜ 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的的第8天

HDFS 基本介绍

HDFS全称Hadoop Distributed File System

Hadoop技术体系：

  • 应用层
    • Map Reduce
    • Spark 当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。
  • 调度层
    • Yarn
  • 存储层
    • HDFS

文件系统

单机文件系统非常普遍，从Windows NTFS到Linux的Ext4等，分布式文件系统是单机文件的延伸，概念术语是相通的，比如目录、文件、目录树等。

  • 单机文件系统：常见的如Windows NTFS，Linux的Ext4、BTRFS、XFS等，虽然不同的操作系统和实现，但是本质都是一样的，解决相同的问题。
  • 分布式文件系统：本质上扩展、延伸了单机文件系统，提供了大容量、高可靠、低成本等功能特性；实现上一般也更为复杂。 image-20220803111224521.png

分布式存储系统

  • 对象存储：例如AWS的S3，阿里云的OSS，开源的Minio。
  • 块存储：例如AWS的EBS，开源社区也有Ceph等。
  • 文件系统：HDFS、GlusterFS、CubeFS等
  • 数据库：KV数据库比如Cassandra，关系型数据库如TiDB、OceanBase等

HDFS功能特性

  1. 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
  2. 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等。
  3. 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
  4. 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
  5. 可扩展：支持联邦集群模式，DataNode数量可达10w级别
  6. 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备

架构原理

  • 分布式存储系统的基本概念，这些概念基本上每个分布式存储系统都会涉及到。

    • 容错能力
    • 一致性模型
    • 可扩展性
    • 节点体系模式
    • 数据放置策略
    • 单机存储引擎

  • HDFS组件 image-20220803113157552.png

    • Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
    • NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。
    • DataNode：数据节点，存放实际用户数据。

Client 写流程

image-20220803113231823.png

Client 读流程

image-20220803113745770.png

NameNode（元数据节点）

image-20220803113903242.png

  • 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
  • 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放。
  • 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
  • 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode。

DataNode（数据节点）

image-20220803122059896.png

  • 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取。
  • 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态。
  • 副本复制：
    • 数据写入时 Pipeline IO操作
    • 机器故障时补全副本

关键设计

分布式存储系统的基本概念，这些概念基本上每个分布式存储系统都会涉及到。

  • 容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。
  • 一致性模型：为了实现容错，数据必须多副本存放,一致性要解决的问题是如何保障这多个副本的内容都是一致的。
  • 可扩展性：分布式存储系统需要具备横向扩张scale-out 的能力。
  • 节点体系模式：常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
  • 数据放置策略：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略。
  • 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根系统特点，如何高效得存取硬盘数据。

NameNode 目录树维护

完整的 metadata 信息就应该由 FSImage 文件和 edit log 文件组成。fsimage 中存储的信息就相当于整个 hdfs 在某一时刻的一个快照。

image-20220803131943004.png

  • fsimage
    • 文件系统目录树
    • 完整的存放在内存中
    • 定时存放到硬盘上
    • 修改是只会修改内存中的目录树

image-20220803132028553.png

  • EditLog
    • 目录树的修改日志
    • client更新目录树需要持久化EditLog后才能表示更新成功
    • EditLog可存放在本地文件系统，也可存放在专用系统上
    • NameNode HA方案一个关键点就是如何实现EditLog共享

NameNode数据放置

image-20220803132706295.png

  • 数据块信息维护
    • 目录树保存每个文件的块id
    • NameNode维护了每个数据块所在的节点信息
    • NameNode根据DatalNode汇报的信息动态维护位置信息
    • NameNode不会持久化数据块位置信息

DataNode

  • 数据块的硬盘存放
    • 文件在NameNode已分割成block
    • DataNodellblock为单位对数据进行存取

image-20220803141154166.png

image-20220803141447488.png

  • 启动扫盘
    • DataNode需要知道本机存放了哪些数据块
    • 启动时把本机硬盘上的数据块列表加载在内存中

HDFS 写异常处理

Lease Recovery

租约：CIient 要修改一个文件时，需要通过NameNode 上锁，这个锁就是租约(Lease)。

情景：文件写了一半，client自己挂掉了。可能产生的问题：

  • 副本不一致，当出现不一致时会比较副本之间的大小，选取较小的副本返回
  • Lease无法释放，客户端获取租约后会有10分钟的超时时间，客户端需要定期向NameNode续租，如无续租并超时 NameNode会判断客户端已经挂掉然后把客户端踢掉，并释放租约。

image-20220803141559384.png

Pipeline Recovery

情景： 文件写入过程中，DataNode 侧出现异常挂掉了。

image-20220803141914358.png

异常出现的时机：

  • 创建连接时
  • 数据传输时
  • complete阶段

Client 读异常处理

情景：读取文件的过程，DataNode 侧出现异常挂掉了

解决方法：节点 Failover

增强情景：节点半死不过，读取很慢

image-20220803151506770.png

旁路系统

Balancer：均衡 DataNode的容量

image-20220803151818640.png

Mover：确保副本放置符合策略要求

image-20220803151844178.png

控制面建设

控制面建设：保障系统稳定运行

**HouseKeeping组件：**比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。

可观测注设施：

  • 指标埋点
  • 数据采集
  • 访问日志
  • 数据分析

运维体系建设：

  • 运维操作需要平台化
  • NameNode操作复杂
  • DataNode 机器规模庞大
  • 组件控制面API
avatar
文章
阅读
粉丝