HDFS原理与应用｜青训营笔记

二个二个二
95 阅读6分钟

这是我参与「第四届青训营」笔记创作活动的第 9 天。

一、笔记内容

1. HDFS基本介绍

2. HDFS架构原理

3. HDFS关键设计

4. HDFS应用场景

二、HDFS基本介绍

HDFS: Hadoop Distributed File System

1.技术体系

Hadoop技术体系

  • 存储层：HDFS

  • 调度层：YARN

  • 应用层计算框架：MapReduce / Spark

开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，虽它不属于Hadoop项目，但也和Hadoop也有紧密关系。

2.文件系统

graph TD
文件系统 --> 单机文件系统 --> WindowsNTFS

单机文件系统 --> LinuxExt4

单机文件系统 --> ...

文件系统 --> 分布式文件系统

分布式文件系统：

  • 大容量：更多的机器，更多的存储介质；

  • 高可靠：多个副本提高容错能力；

  • 低成本：不需要高端硬件来扩容。

分布式存储系统：

graph TD
分布式存储系统 ------> 文件系统 --> hadoopHDFS

文件系统 --> GLUSTER

文件系统 --> lustre

文件系统 --> CubeFS

分布式存储系统 --> 对象存储 --> AmazonS3

对象存储 --> 阿里云OSS

对象存储 --> MINIO

对象存储 --> ceph

分布式存储系统 ----> 块存储 --> AmazonEBS

块存储 --> CurveBS

块存储 --> LONGHORN

块存储 --> ceph

分布式存储系统 --> 数据库 --> cassandra

数据库 --> scylla

数据库 --> OCEANBASE

数据库 --> CockroachDB

数据库 --> TIDB

3.HDFS功能特性

1.分布式

受GFS启发，用Java实现的开源系统,没有实现完整的POSIX文件系统语义。

2.容错

自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等。

3.高可用

一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用。

4.高吞吐

Client直接从DataNode读取用户数据,服务端支持海量client并发读写。

5.可扩展

支持联邦集群模式,DataNode数量可达10w级别。

6.廉价

只需要通用硬件,不需要定制高端的昂贵硬件设备。

三、HDFS架构原理

HDFS组件

  • Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。

  • NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。

  • DataNode：数据节点，存放实际用户数据。

1.Client/SDK

Client写流程

image.png

Client读流程

image.png

2.NameNode

1.维护目录树

维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。

2.维护文件和数据块的关系

文件被切分成多个块，文件以数据块为单位进行多副本存放。

3.维护文件块存放节点信息

通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。

4.分配新文件存放节点

Client创建新的文件时候，需要有NameNode来确定分配目标DataNode。

3.DataNode

1.数据块存取

DataNode需要高效实现对数据块在硬盘上的存取。

2.心跳汇报

把存放在本机的数据块列表发送给NameNode,以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态。

3.副本复制

  • 数据写入时Pipeline IO操作

  • 机器故障时补全副本

image.png

四、HDFS关键设计

1.分布式存储系统基本概念

1.容错能力

能够处理绝大部分异常场导，例如服务器宕机、网络异常、磁盘故障、网络超时等。

2.一致性模型

为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的。

3.可扩展性

分布式存储系统需要具备横向扩张scale -out的能力。

4.节点体系

常见的有主从模式对等模式等，不管哪种模式，高可用是必须的功能。

5.数据放置

系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略。

6.单机存储引擎

在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效得存取硬盘数据。

2.NameNode

1.NameNode目录树维护

  • fsimage

    • 文件系统目录树

    • 完整的存放在内存中

    • 定时存放到硬盘上

    • 修改是只会修改内存中的目录树

  • EditLog

    • 目录树的修改日志

    • clien更新目录树需要持久化Edit og后才能表示更新成功

    • EditLog可存放在本地文件系统，也可存放在专用系统上

    • NameNode HA方案一个关键点就是如何实现EditLog共享

2.NameNode数据放置

image.png

  • 数据块信息维护

    • 目录树保存每个文件的块id

    • NameNode维护了每个数据块所在的节点信息

    • NameNode根据DataNodeE[报的信息动态维护位置信息

    • NameNode不会持久化数据块位置信息

  • 数据放置策略

    • 新数据存放到哪写节点

    • 数据均衡需要怎么合理搬迁数据

    • 3个副本怎么合理放置

3.DataNode

  • 数据块的硬盘存放

    • 文件在NameNode已分割成block

    • DataNode以block为单位对数据进行存取

  • 启动扫盘

    • DataNode需要知道本机存放了哪些数据块

    • 启动时把本机硬盘上的数据块列表加载在内存中

4.HDFS异常处理

1.HDFS写异常处理 - Lease Recovery

异常情景：文件写了一半，client自己挂掉了。

image.png

此时可能产生的问题：

1.副本不一致

2.Lease无法释放

租约(Lease): Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约(L ease)。

解决方法：Lease Recovery

  • 副本不一致：对比系统中副本的长度，选取最小长度的副本为最终版本，对它进行更新后，作为最终写入的结果。

  • Lease无法释放：Client无法续租，若超出续租时限，NameNode认定Client挂掉，如果有其它的Client需要租约，则NameNode踢掉挂掉的Client。

2.HDFS写异常处理 - Pipeline Recovery

异常情景：文件写入过程中，DataNode 侧出现异常挂掉了。

异常可能出现的时机：

1.创建连接时

2.数据传输时

3.complete阶段

解决方法：Pipeline Recovery

  • 创建连接时：重新选择一个连接；

  • 数据传输时：Pipeline 重新构建，将挂掉的节点去除；

  • complete阶段：Pipeline 重新构建，重新选取节点。

3. Client读异常处理

异常情景：读取文件的过程， DataNode 侧出现异常挂掉了。

image.png

解决方法：节点 Failover

放弃出现异常的节点，继续读取下一个节点。

增强异常情景： 节点出现故障，半死不过，读取很慢。

解决方法：做节点间的切换（Failover）。

难题：

1. 如何判断读取是“慢”的；

2. 读取很慢，可能是因为客户端的原因。

5.旁路系统

异步解决系统中可能会积累恶化的问题，简化系统设计。

1.Balancer: 均衡DataNode的容量  

image.png

2.Mover：确保副本放置符合策略要求

image.png

6.控制面建设

  • 可观测性设施

    • 指标埋点

    • 数据采集

    • 访问日志

    • 数据分析

  • 运维体系建设

    • 运维操作需要平台化

    • NameNode操作复杂

    • DataNode机器规模庞大

    • 组件控制面API

五、HDFS应用场景

1.ETL：Extract，Transform，Load

image.png

2.HBase

image.png

3.机器学习

  • TensorFlow

    • 原生支持HDFS读写

  • PyTorch

    • 通过Alluxio访问HDFS

    • 修改源码增加对HDFS的支持

4.通用存储应用

 

graph TD
HDFS --> 对象存储

HDFS --> 消息队列

HDFS --> 冷数据层

HDFS --> 海量日志

HDFS --> 备份数据

参考文章：juejin.cn/post/712494…

avatar
文章
阅读
粉丝