这是我参与【第四届青训营】笔记创作活动的第4天

HDFS|青训营笔记

一、HDFS概述

1.1 HDFS概念

分布式存储系统

1.2HDFS功能特性

• 1.分布式
  受GFS启发，用Java实现的开源系统
• 2.容错
  自动处理、规避多种错误的场景，常见的如网络错误宕机等
• 3.高可用
  一主多备模式实现元数据高可用，多副本实现用户数据的高可用
• 4.高吞吐
  Client直接从DataNode读取用户数据，服务端支持海量client并发读写
• 5.可扩展
  支持联邦集群模式，DataNode数量可达10w级别
• 6.廉价
  只需要通用硬件，不需要指定高端的昂贵硬件设备

二、HDFS工程流程

2.1 Client写文件流程

1. Clinet向NameNode发送请求上传文件(文件目录信息)
2. NameNode收到请求后，1）检查用户权限 2）检查该文件目录在目录树中是否存在， 3）发送响应可以上传文件
3. Client请求上传第一个数据块，向NameNode请求返回datanode信息
4. NameNode根据决策算法（考虑传输、容错等），返回datanode节点，表示数据块可以存储在这些datanode上
5. Client向这些datanode发送请求及案例传输通道
6. datanode发送应答成功信息
7. Clinet以packet(64k)为单位向datanode写数据

2.2 Client读文件流程

1. Client向NameNode发送下载**文件的请求

2. NameNode向Clinet返回文件的元数据信息(存储在哪几个块)

3. Clint向DataNode发送请求读数据块的信息

4. 包括存储了文件的块的DataNode向Client传输数据信息

2.3 元数据节点NameNode

• 维护目录树
  维护目录树的增删改查操作，保证所有修改都能持续化，以便机器掉电不会造成数据丢失或者不一致
• 维护文件和数据块的关系
  文件被切分成多个块，文件以数据块为单位进行多副本存放
• 维护文件存放节点信息
  通过接收DataNode的心跳汇报，维护集群节点的拓扑结构和每个文件块所有副本所在DataNode类表
• 分配新文件存放节点
  Cient创建新文件的时候，需要有NameNode来确定分配目标DataNode

2.3 元数据节点DataNode

• 数据块存取
  DataNode需要高效实现符数据块在硬盘上的存取
• 心跳汇报
  把存放在本机的数据块列表发送给NameNode,以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常活动的状态
• 副本复制
  数据写入Pipeline IO操作，机器故障时补全副本

三、关键设计

1. 容错性
能够处理绝大不部分的异常场景。服务器宕机、网路异常、磁盘故障、网络超时 2. 一致性模型
为了实现容错性，数据必须多副本存放，一致性要解决的问题是如何保障多个副本内容的一致性
3. 可扩展性
分布式存储系统需要具备横向扩张scale-out的能力
4. 节点体系 常见的主从模式，对等模式等，不管那种模式，高可用是必须的功能
5. 数据放置
系统是由多个节点组成的，数据是多个副本存放时，需要考虑数据存放的策略 6. 单机存储引擎
在绝大数存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何和高效得存取磁盘数据