HDFS原理与应用 | 青训营笔记

爱情码头
82 阅读1分钟

这是我参与「第四届青训营」笔记创作活动的的第8天

一、HDFS基本介绍

1. HDFS: Hadoop Distributed File System

image.png

2. Windows单机文件系统

image.png

3. Linux单机文件系统

image.png

4. 分布式文件系统

image.png

5. 分布式存储系统

image.png

6. HDFS功能特性

image.png

二、架构原理

1. HDFS组件

image.png

2. Client写流程

image.png

3. Client读流程

image.png

4. 元数据节点 NameNode

image.png

5. 数据节点DataNode

image.png

三、关键设计

1. 分布式存储系统基本概念

image.png

2. NameNode目录树维护

image.png

3. NameNode数据放置

image.png

4. DataNode

image.png

5. HDFS写异常处理: Lease Recovery

image.png

6. HDFS写异常处理: Pipeline Recovery

image.png

7. Client读异常处理

image.png

8. 旁路系统

image.png

9. 控制面建设

image.png

avatar
文章
阅读
粉丝