HDFS原理与应用 ｜ 青训营笔记

本座强子
93 阅读6分钟

这是我参与「第四届青训营 」笔记创作活动的第1天

这节课的重点内容包括四部分：HDFS基本介绍、架构原理、关键设计、应用场景。

一、HDFS的设计与实现

HDFS:Hadoop Distributed File System

image.png

1.1 Windows 单机文件系统（文件系统==HDFS）

image.png

1.2 Linux单机文件系统

image.png

1.3 分布式文件系统

image.png

1.4 分布式存储系统

image.png

1.5 HDFS功能特性

  • 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
  • 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机等
  • 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
  • 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
  • 可扩展：支持联邦集群模式，DataNode数量可达10w级别
  • 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备

1.6 演示环境

命令行：

hdfs dfs -put xxxx

hdfs dfs -ls xxxxx

页面：

image.png

二、架构原理———HDFS架构介绍的组件用途

2.1 HDFS组件

image.png

  • client/SDK：从某个机器去访问HDFS，机器就是client，命令行就是一种client，HDFS很多操作都是在SDK实现的
  • NameNode中枢节点（最复杂）：元数据管理
  • DataNode:用户数据存放在这，DataNode把他们放到硬盘上

2.2 Client写流程

image.png

客户端和NameNode交互，NameNode给一个DataNode的列表。

3写数据块操作 横跨了三个连接，client只跟第一个DataNode连接，剩下的全靠DataNode之间的副本复制

2.3 Client读流程

image.png 客户端在进性读写操作前要先问NameNode，看具体在哪个块操作。

2.4 元数据节点NameNode

image.png

  • 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
  • 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放
  • 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
  • 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode

2.5 数据节点DataNode

image.png

  • 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
  • 心跳汇报：把存放本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
  • 副本复制：①数据写入时Pipeline IO操作 ②机器故障时补全副本

三、关键设计

分布式存储系统基本概念

  1. 容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超市等。
  2. 一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的。
  3. 可扩展性：分布式存储系统需要具备横向扩张scale-put的能力。
  4. 节点体系：常见的由主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
  5. 数据放置：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略。
  6. 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机存储引擎需要解决的是根据系统节点，如何高效的存取硬盘数据。

3.1 NameNode目录树维护

  1. fsimage
  • 文件系统目录树
  • 完整地存放在内存中
  • 定时存放到硬盘上
  • 修改时只会修改内存中的目录树

image.png

  1. Editlog
  • 目录树的修改日志
  • client更新目录树需要持久化Editlog后才能表示更新成功
  • Editlog可存放在本地文件系统，也可存放在专用系统上
  • NameNode HA方案一个关键点就是如何实现Editlog共享

image.png

3.2 NameNode数据放置

  1. 数据块信息维护
  • 目录树保存每个文件的块id
  • NameNode维护了每个数据块所在的节点信息
  • NameNode根据DataNode汇报的信息动态维护位置信息
  • NameNode不会持久化数据块位置信息

image.png

  1. 数据放置策略
  • 新数据存放到哪写节点
  • 数据均衡需要怎么合理搬迁数据
  • 3个副本怎么合理放置

image.png

方式2好

演示：

image.png

3.3 DataNode

  1. 数据块的硬盘存放
  • 文件在NameNode已分割成block
  • DataNode以block为单位对数据进行存取

image.png 第一个绿框--硬盘盘符 第二、三个绿框--block id算出来的 第一个红框--数据本身的内容 第二个红框--描述块，如块的校验码（1019处理异常）

  1. 启动扫盘
  • DataNode需要知道本机存放了哪些数据块
  • 启动时把本机硬盘上的数据块列表加载在内存中

3.4 HDFS写异常处理：

Lease Recovery

  1. 情景：文件写了一半，client自己挂掉了，可能产生的问题： ①副本不一致
    ②Lease无法释放
  2. 租约：client要修改一个文件时，需要通过NameNode上锁，锁就是租约（Lease）
  3. 解决方法：Lease Recovery--比较系统中副本长度，选最小的作为结果

image.png

Pipeline Recovery

  1. 情景：文件写入过程中，DataNode侧出现异常挂掉了
  2. 异常出现的时机： ①创建连接时 ②数据传输时 ③complete阶段
  3. 解决方法：Pipeline Recovery ①重新选一个 ②坏的摘出去 ③pipeline重新构建 重新选节点

image.png

3.5 client读异常处理

  1. 情景：读取文件的过程，DataNode侧出现异常挂掉了
  2. 解决方法；节点Failover
  3. 增强情景：节点半死不活，读取很慢

image.png

3.6 旁路系统

  1. Balancer：均衡DataNode的容量

image.png 2. Mover：确保副本放置符合策略要求

image.png

3.7 控制面建设

  1. 可观测性设施
  • 指标埋点
  • 数据采集
  • 访问日志
  • 数据分析
  1. 运维体系建设
  • 运维操作需要平台化
  • NameNode操作复杂
  • DataNode机器规模庞大
  • 组件控制面API

四、应用场景

4.1 使用HDFS的公司

image.png

4.2 初窥大数据生态

image.png

4.3 演示：PySpark读写HDFS文件

  1. 读取本地文件系统上的文件
  2. 把查询结果保存到本地文件
  3. 读取HDFS上的文件
  4. 把查询结果保存到HDFS上

image.png

image.png

image.png

image.png

4.4 ETL：Extract,Transform,Load

image.png

4.5 OLAP查询引擎

image.png

4.6 HBase

image.png

4.7 机器学习

  1. TensorFlow
  • 原生支持HDFS读写
  1. PyTorch
  • 通过Alluxio访问HDFS
  • 修改源码增加对HDFS的支持

4.8 通用存储空间

image.png

avatar
文章
阅读
粉丝