这是我参与「第四届青训营 」笔记创作活动的第4天！
一、HDFS的基本介绍。
属于Hadoop的一个子项目。
1.Windows单机文件系统。
2.Linux单机文件系统。
3.分布式文件系统。
- 大容量（更多的机器，更多的存储介质）
- 高可靠（多个副本提高容错能力）
- 低成本（不需要高端硬件来扩容）
4.分布式存储系统： 分为对象存储、文件系统、块存储、数据库四种类型。
5.HDFS功能特性：
- 分布式
- 受GFS启发 用ava实现的开源系统,没有实现完整的POSIX文件系统语义
- 高吞吐
- Cient直接从DataNode读取用户数据,服务端支持海量dlient井发读写
- 客错
- 自动处理、 规避多种惜误场景，例如常见的网络情误 机器机等。
- 可扩展
- 支持联邦集群模式,DataNode数量可达10w级别
- 高可用
- 一主多备模式实现元数据高可用，数据多剧本实现用户数据的高可用
- 廉价
- 只需要通用硬件，不需要定制高端的昂费硬件设备
6.演示环境-HDFS节点。
二、架构原理。
1.HDFS组件：
2.Client写流程：
3.Client读流程：
4.元数据节点NameNode：
- 维护目录树
- 维护目录树的增别改查操作 保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
- 维护文件和数据块的关系
- 文件被切分成多个块，文件以数据块为单位进行多副本存放
- 维护文件块存故节点信息
- 通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
- 分配新文件存放节点
- Cient创建新的文件时候,需要有NameNode来确定分配目标DataNode
5.数据节点DataNode：
- 数据块存取
- DataNode需要高效实现对数据块在硬盘上的存取
- 心跳汇报
- 把存放在本机的数据块列表发送给NameNode,以便NameNode能维护数据块的位置信息，同时让NameNode 确定该节点处于正常存活状态
- 副本复制
- 1.数据写入时Pipeline I0操作
- 2.机器故牌时补全副本
三、关键设计。
1.分布式存储系统基本概念：
- 容错能力
- 能够处理绝大部分异常场景，例如服务器启机、网络异常、磁盘故障、网络超时等。
- 节点体系
- 常见的有主从模式、 对等模式等，不管哪种模式，高可用是必须的功能。
- 致性模型
- 为了实现容错 数据必须多副本存放,一致性要解决的问题是如何保障这多个副本的内容都是一致的
- 数据放置
- 系统是由多个节点组成 数据是多个副本存放时，需要考虑数据存放的策略。
- 可扩展性
- 分布式存储系统需要具备横向扩张scale-out
- 单机存储引擎
- 在绝大部分存储系统中，数据都是需要落盘持久化，单机引摩需要解决的是根据系统特点，如何高效得存取硬盘数据。
2.NameNode目录树维护：
- fsimage
- 文件系统目录树
- 完整的存放在内存中
- 定时存故到硬盘上
- 修改是只会修改内存中的目录树
- EditLog
- 目录树的修改日志
- dient更新目录树需要持久化EditLog后才能表示更新成功
- EditLog可存放在本地文件系统 也可存放在专用系统上
- NameNode HA方案一个关键点就是如何实现EditLog共享
3.NameNode数据放置：
-
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数概块在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
-
数据放置策略
- 新数据存放到那写节点
- 数据均衡需要怎么合理搬迁数据
- 3个副本怎么合理故置
4.DataNode：
- DataNode功能：存储管理用户的文件块数据定期向namenode汇报自身所持有的block信息（通过心跳信息上报信息，如果长时间收不到datanode的信息，肯可能datanode宕机了，需要从其他机上拿数据块副本）
- 数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNodeXblock为单位对数据进行存取
- 启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
5.HDFS写异常处理：Lease Recovery
- 情景:文件写了一半,client自己挂掉了。可能产生的问题:
- 副本不一致
- Lease无法释放
- 租约:Client 要修改一个文件时，需要通过NameNode 上锁，这个锁就是租约(Lease).
- 解决方法：Lease Recovery
HDFS写异常处理：Pipeline Recovery
- 情景:文件写入过程中,DataNode侧出现异常挂掉了。
- 异常出现的时机:
- 创建连接时
- 数据传输时
- complete阶段
- 解决方法：Pipeline Recovery
5.Client读取异常：
- 情景：读取文件的过程,DataNode 侧出现异常挂掉了
- 解决方法:节点Failover
- 增强情景：节点半死不活，读取很慢
6.旁路系统：
- Balancer：均衡DataNode的容量
- Mover：确保副本放置符合策略要求
7.控制面建设：
- 可观测性设施：
- 指标埋点
- 数据采集
- 访问日志
- 数据分析
- 运维体系建设：
- 运维操作需要平台化
- NameNode 操作复杂
- DataNode 机器规模庞大
- 组件控制面API
四、应用场景。
1.初窥大数据生态：
2.演示：PySpark读写HDFS文件:
- 读取本地文件系上的文件
- 把查询结果保存到本地文件
- 读取HDFS上的文件
- 把查询结果保存到HDFS上
3.ETL：Extract、Transform、Load。
4.OLAP查询引擎。
5.HBase：
6.机器学习：
- 原生支持HDFS读写
- 通过Alluxio访问HDFS
- 修改源码增加对HDFS的支持
7.通用存储应用：
总结
这次课我学习了HDFS的原理与应用，HDFS 数据存放策略就是采用同节点与同机架并行的存储方式。在运行客户端的当前节点上存放第一个副本，第二个副本存放在于第一个副本不同的机架上的节点，第三个副本放置的位置与第二个副本在同一个机架上而非同一个节点。
