这是我参与「第四届青训营 」笔记创作活动的的第4天
今天的笔记主要分为四个部分：
一、HDFS基本介绍
二、架构原理
三、关键设计
四、应用场景
一、HDFS基本介绍
1.Hadoop技术体系
2.分布式文件系统
-大容量：更多的机器，更多的存储介质
-高可靠：多个副本提高容错能力
-低成本：不需要高端硬件来扩容
3.HDFS功能特性
-分布式：受GFS启发，用Java实现的的开源系统，没有实现完整的POSIX文件系统语义
-容错：自动处理，规避多种错误场景，例如常见的网络错误、机器宕机等
-高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
-高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
-可扩展：支持联邦集群模式，DataNode数量可达10W级别
-廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备
二、架构原理
1.HDFS组件
2.Client写流程
3.Client读流程
4.元数据节点NameNode
-维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
-维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放。
-维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件快所有副本所在的DataNode类表。
-分配新文件存放节点：Client创建新的文件的时候，需要有NameNode来确定分配目标DataNode
5.数据节点DataNode
-数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
-心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
-副本复制：数据写入时PipelineIO操作；机器故障时补全副本
三、关键设计
1.NameNode目录树维护
fsimage
-文件系统目录树
-完整的存放在内存中
-定时存放到硬盘上
-修改是只会修改内存中的目录树
EditLog
-目录树的修改日志
-client更新目录树需要持久化EditLog后才能表示更新成功
-EditLog可存放在本地文件系统，也可存放在专用文件系统中
-NameNode HA方案一个关键点就是如何实现EditLog共享
2.NameNode数据放置
数据块信息维护
-目录树保存每个每个文件的块id
-NameNode维护了每个数据块所在的节点信息
-NameNodegenjuDataNode汇报的信息动态维护位置信息
-NameNode不会持久化数据块位置信息
数据放置策略
-新数据存放到哪些节点
-数据均衡需要怎么合理搬迁数据
-3个副本怎么合理放置
3.DataNode
数据块的硬盘存放
-文件在NameNode已分割成block
-DataNode以block为单位对数据进行存取
启动扫盘
-DataNode需要知道本机存放了那些数据块
-启动时把本机硬盘上的数据块列表加载在内存中
4.HDFS写异常处理：Lease Recovery
租约：Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约（Lease）
情景：文件写了一半，client自己挂掉了。可能造成副本不一致和Lease无法释放
解决方法：Lease Recovery
5.Client读异常处理
情景：读取文件的过程，DataNode侧出现异常挂掉了
解决方法:节点Failover
增强情景：节点半死不过，读取很慢
四、应用场景
1.大数据生态
2.ETL：Extract，Transform，Load
3.OLAP查询引擎
4.HBase
5.通用存储应用
