HDFS入门当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区 (partition)并存储到若干台

HDFS简介

当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区 (partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统成为分布式文件系统 (Distributed filesystem)。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。

1.介绍

需要跨机器存储，统一管理分布在集群上的文件系统统称为分布式文件系统。 Hodoop使用HDFS(Hadoop Distributed File System)作文存储系统。HDFS使用多台计算机存储文件，对外提供统一操作文件的接口在这里插入图片描述

2.应用场景

适合的场景

a.存储非常大的文件并对延时没有要求 b.彩球流式的数据访问方式，即一次写入，多次读取。数据集经常从数据源生成或者拷贝，然后做很多分析工作。 c.对硬件要求不高 d.高容错 e.可拓展

不适合的场景

a.对延时有要求。 b.大量小文件。每个文件都需要对应一条元数据，元数据存储在NameNode的内存中 c.多方读写。不支持文件任意offset的修改。不支持多个写入器

3.HDFS的架构

HDFS是一个主/从体系结构。 HDFS由四部分组成，HDFS Client，NameNode，DataNode和Secondary NameNode。在这里插入图片描述

Client：客户端 a.文件切分。文件上传HDFS的时候，将文件切分承一个一个的数据块(Block)进行存储 b.与NameNode交互，获取文件的位置 c.与DataNode交互，读取或写入数据 NameNode: HDFS系统中的master，是主管 a.管理HDFS的名称空间 b.管理数据块(block)的映射信息 c.管理副本策略 d.处理客户端请求 DataNode: 就是Slave a.存储实际的数据块 b.执行数据库的读/写操作 Secondary NameNode: 并非NameNode的热备，不能代替Namenode a.辅助NameNode,分担其工作 b.当NameNode挂掉时，辅助它复活

4.NameNode和DataNode

4.1.NameNode作用

NameNode在内存中保存着整个文件系统的名称空间和文件数据块的地址映射。整个HDFS可存储的文件数量受限于NameNode的内存大小。 1.NameNode元数据信息：文件名,文件目录结构，文件属性以及每个文件的块列表。以及例表中的块与块所在的DataNode的之间的地址映射关系。这些数据会定时持久化到磁盘中在这里插入图片描述 2.NameNode文件操作：NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写，数据流不经过NameNode

3.NameNode副本：文件数据块到底存放到哪里DataNode上，是由NameNode依据全局情况做出放置副本的决定

4.NameNode心跳机制: NameNode会周期性的来自DataNode的状态信息报告。如果10分钟内接受不到DN的心跳，NN则会认位它宕机

4.2 DataNode的作用

1.DN以数据块的形式存储文件 2.DN响应Client的读写请求 3.DN周期性的向NN发送心跳信息 4.DN周期性的向NN汇报数据块信息/缓存数据块信息

5.HDFS的副本机制和机架感知

5.1 HDFS文件副本机制

所以的文件都是以block块的方式存放在HDFS文件系统中，作用如下 1.一个文件可能大于整个磁盘容量，引入块机制可以很好的解决这个问题 2.使用块作为文件存储的逻辑单位可以简化存储子系统 3.易于备份挺高容灾能力在hadoop2中，block的默认大小为128M，可以在hdfs-site.xml配置文件中修改。每个block的默认副本数为3，也可以在这个配置文件中改

<! -- 每个Block的副本数量 --><property><name>dfs.replication</name><value>3</value></property><! -- 每个Block的最大容量 --><property><name>dfs.block.size</name><value>134217728</value></property>