这是我参与「第四届青训营 」笔记创作活动的的第十天

哈喽大家好，今天的学习内容是HDFS 原理与应用

01.HDFS基本介绍

hadoop技术体系

分布式文件系统

• 大容量
  更多的机器和存储介质
• 高可靠
  多个副本提高容错能力
• 低成本
  不需要高端软件来扩容

分布式存储系统

HDFS功能特性

• 分布式
  • 受GFS启发，用java实现的开源系统，没有实现完整的POSIX文件系统语义
• 容错
  • 自动处理，规避多种错误场景，例如常见的网络错误、机器宕机等。
• 高可用
• • 一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
• 高吞吐
  • client直接从DataNode读取用户数据，服务端支持海量欸但client开发读写
• 可扩展
  • 支持联邦集群模式，DataNode数量可达10w级别
• 廉价
  • 只需要通用硬件，不需要定制高端的昂贵硬件设备

02.架构原理

HDFS组件

Client写流程

Client读流程

NameNode元数据节点

• 维护目录树
  • 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器停电不会造成数据丢失或不一致
• 维护文件和数据块的关系
  • 文件被切分成多个块，文件以数据块为单位进行多副本存放
• 维护文件快存放节点信息
  • 通过接受DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNoed类表
• 分配新文件存放节点
  • Client创建新的文件时候，需要有NameNode来确定分配目标DataNode

DataNode数据节点

• 数据块存取
  • DataNode需要高效实现对数据块在硬盘上欸但存取
• 心跳汇报
  • 把存放在本机的数据块列表发送给NameNode，以便NameNode能够维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
• 副本复制
  • 数据写入时Pipeline IO操作
  • 机器故障时补全副本

03.关键设计

分布式存储系统基本概念

• 容错能力
  • 能处理绝大部分异常场景，如服务器宕机、网络异常、磁盘故障、网络超时等
• 一致性模型
  • 为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保证多个副本的内容都是一致的
• 可扩展性
  • 分布式存储系统需要具备横向扩张scale-out的能力
• 节点体系
  • 常见的有主从模式、对等模式
• 数据防止
  • 需要考虑数据存放的策略
• 单机存储引擎
  • 在绝大部分分布式存储系统，数据都是需要落盘持久化，单机引擎需要系统特点，高效存取硬盘数据

NameNode目录维护

fsimage

• 文件系统目录树
• 存放在内存
• 需要定时存放到硬盘上
• 修改只会修改内存中的目录树

EditLog

• 目录树的修改日志
• client更新目录树需要持久化EditLog后才能表示更新成功
• EditLog可存放本地文件系统，也可存放在专用系统上
• NameNode HA方案一个关键点就是如何实现EditLog共享

NameNode数据放置

数据块信息维护

• 目录树保存每个文件的id
• NameNode维护了每个数据块所在的节点信息
• NameNode根据DataNode汇报的信息动态维护位置信息
• NameNode不会持久化数据块位置信息

数据放置策略

• 数据会存放在不同机器节点

DataNode

数据块的硬盘存放

• 文件在NameNode已分割成block
• DataNode以block为单位进行存取

启动扫盘

• DataNode需要知道本机存放了哪些数据块
• 启动时把本机硬盘上的数据块列表加载到内存 应用场景析和其他一些内容由于篇幅原因在此就不展开介绍了，今天的学习到这里就结束了，感谢阅读。