HDFS 原理与应用 | 青训营笔记

RiverCold
116 阅读6分钟

HDFS 原理与应用

这是我参与「第四届青训营 」笔记创作活动的的第2天

文章目录

1.课堂重点内容

  • HDFS的设计与实现
  • HDFS的产品化体系建设
  • HDFS的多场景的应用
  • 分布式存储系统通用基本概念

2.详细知识点介绍

01 HDFS基本介绍

Hadoop技术体系

image.png

分布式文件系统

优点

  • 大容量
  • 高可靠
  • 低成本 image.png

分布式存储系统的类型

  • 对象存储
  • 文件系统
  • 块存储
  • 数据库

HDFS的功能特性

  1. 分布式：受GFS启发，用Java实现的开源系统
  2. 容错：自动处理、规避多种错误场景
  3. 高可用：一注多备模式实现元数据高可用，数据多副本实现用户数据的高可用
  4. 高吞吐：服务端支持海量Client并发读写
  5. 可扩展：支持联邦集群模式
  6. 廉价：只需要使用通用硬件

02 架构原理

HDFS组件

image.png

Client写流程

image.png

Client读流程

image.png

元数据节点 NameNode

  • 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
  • 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放
  • 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
  • 分配新文件存放节点：Client创建新的文件时候， 需要有NameNode来确定分配目标 image.png

数据节点 DataNode

  • 数据块存取 Data Node需要高效实现对数据块在硬盘上的存取
  • 心跳汇报 把存放在本机的数据块列表发送给NameNode,以便NameNode能维护数据块的位置信息,同时让NameNode确定该节点处于正常存活状态
  • 副本复制 1.数据写入时Pipeline IO操作 2.机器故障时补全副本 image.png

03 关键设计

分布式存储系统基本概念

  1. 容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等。
  2. 一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的
  3. 可扩展性：分布式存储系统需要具备横向扩张scale-out 的能力
  4. 节点体系：常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
  5. 数据放置系统：是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略。
  6. 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效得存取硬盘数据。

NameNode目录树维护

fsimage

  • 文件系统目录树
  • 完整的存放在内存中
  • 定时存放到硬盘上
  • 修改是只会修改内存中的目录树

image.png EditLog

  • 目录树的修改日志
  • client更新目录树需要持久化EditLog后才能表示更新成功
  • EditLog可存放在本地文件系统， 也可存放在专用系统
  • N ameNode HA方案一个关键点就是如何实现Edit Log共享

image.png

NameNode数据放置

数据块信息维护

  • 目录树保存每个文件的块id
  • NameNode维护了每个数据块所在的节点信息
  • NameNode根据DataNode汇报的信息动态维护位置信
  • NameNode不会持久化数据块位置信息

image.png 数据放置策略

  • 新数据存放到哪写节点
  • 数据均衡需要怎么合理搬迁数据
  • 3个副本怎么合理放置

image.png

DataNode

数据块的硬盘存放

  • 文件在NameNode已分割成block
  • DataNode以block为单位对数据进行存取

启动扫盘

  • DataNode需要知道本机存放了哪些数据块
  • 启动时把本机硬盘上的数据块列表加载在内存中

HDFS 写异常处理: Lease Recovery

  • 租约：Client要修改一个文件时，需要通过Name Node上锁，这个锁就是租约(Lease)
  • 情景：文件写了一半，client自己挂掉了可能产生的问题：
    ✓\checkmark 副本不一致
    ✓\checkmark Lease无法释放
  • 解决方法：Lease Recovery

image.png

HDFS写异常处理：Pipeline Recovery

  • 情景：文件写入过程中，Data Node侧出现异常挂掉了。
  • 异常出现的时机：
    • 创建连接时
    • 数据传输时
    • complete阶段
  • 解决方法：Pipeline Recovery

image.png

Client读异常处理

  • 情景: 读取文件的过程，DataNode侧出现异常挂掉了
  • 解决方法: 节点Failover
  • 增强情景：节点半死不过，读取很慢

04 应用场景

ETL: Extract, Transform, Load

image.png

3.实践练习例子

PySpark读写HDFS文件

4.课后个人总结

本节主要讲述的是HDFS的概念和应用场景，通过HDFS的设计能够看出在实际生产中的项目不仅要重视功能实现，更需要考虑到容错能力、安全性、一致性、可扩展性等多种问题。

avatar
文章
阅读
粉丝