这是我参与「第四届青训营 」笔记创作活动的第6天
HDFS 组成架构
NameNode：
- 管理HDFS命名
- 副本机制
- Block映射
- 处理客户端读写
DataNode：
- 实际存储数据块的地方
- 数据块的读写
Client：
- 切分Block
- 与NameNode交互，获取文件位置信息
- 与DataNode交互，读取或写入数据
写入数据：
（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（2）NameNode返回是否可以上传。
（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端。
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）
读取数据：
（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 （2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 （3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 （4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
备份
1）第一阶段：NameNode启动 （1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode记录操作日志，更新滚动日志。 （4）NameNode在内存中对元数据进行增删改。 2）第二阶段：Secondary NameNode工作 （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。 （2）Secondary NameNode请求执行CheckPoint。 （3）NameNode滚动正在写的Edits日志。 （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。 （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。 （6）生成新的镜像文件fsimage.chkpoint。 （7）拷贝fsimage.chkpoint到NameNode。 （8）NameNode将fsimage.chkpoint重新命名成fsimage。
