这是我参与「第四届青训营 」笔记创作活动的的第八天
今天的学习内容为《HDFS原理与应用》，内容包括 HDFS基本介绍、HDFS架构原理、HDFS关键设计、HDFS应用场景。
第一部分介绍了HDFS的基本概念及其功能特性，HDFS（Hadoop Distributed File System）即为Hadoop分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
第二部分讲解了HDFS的三大件：Client/SDK、NameNode、DataNode，讲解了相关职责；Client读写数据的时候三大件之间的交互；元数据节点NameNode的功能主要就是维护调度分配；数据节点DataNode负责数据存取、心跳汇报以及副本的复制。
第三部详细讲解了3大件的关键设计：NameNode目录树设计、NameNode副本放置、DataNode设计、Client读写流程异常处理、旁路系统以及控制板建设。
第四部分讲解了一些应用场景，PySpark 读写HDFS 演示、ETL概念、OLAP查询引擎、通用存储场景
1 HDFS基本介绍:
HDFS: Hadoop Distributed File System
1.1 分布式文件系统
- 大容量：更多的机器，更多的存储介质
- 高可靠：多个副本提高容错能力
- 低成本：不需要高端硬件来扩容
1.2 HDFS功能特性
- 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
- 容错：自动处理，规避多种错误场景，例如常见的网络错误、机器宕机等
- 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
- 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写
- 可扩展：支持联邦集群模式，DataNode数量可达10w级别
- 廉价：只需要通用硬件，不需要定制昂贵的硬件设备
2 HDFS架构原理
2.1 HDFS组件
- Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
- NameNode：中枢节点，也是服务的入口。最为复杂，元数据管理
- DataNode：所有用户的数据持久化存储在DataNode硬盘上
2.2 Client写流程
Client和NameNode交互，Client向NameNode请求数据块，NameNode负责调度分配DateNode数据块给Client，最后又Client写入数据，DataNode把写的数据块上报给NameNode
2.3 Client读流程
2.4 元数据节点NameNode
- 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。
- 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放
- 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
- 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode
2.5数据节点 DataNode
- 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
- 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
- 副本复制：1.数据写入时 Pipeline IO操作2机器故障时补全副本
3 关键设计
分布式存储系统基本概念
- 容错能力：能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等
- 一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题时如何保障这不同机器多个副本的内容都是一致的
- 可扩展性：分布式存储系统需要具备横向扩张scale-out的能力，容量不够，可以通过加节点做一些扩展等
- 节点体系：常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能
- 数据防止：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略
- 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的时根据兄特点，如何高效的存取硬盘数据
3.1 NameNode目录树
NameNode目录树设计，重点理解EditLog的设计，可类比关系型数据库中的Transaction Log概念。
-
仅在内存中修改：fsimage
-
文件系统目录树完整的存放在内存中
-
定时存放到硬盘上
-
修改是只会修改内存中的目录树
-
-
需要立即保存到硬盘：EditLog
-
client更新目录树需要持久化EditLog后才能表示更新成功
-
EditLog可存放在本地文件系统，也可存放在专用系统上
-
NameNode HA方案一个关键点就是如何实现EditLog共享
-
3.2 NameNode数据放置
NameNode数据放置：数据分散在各个节点上，如何定位找到它们？
-
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
-
数据放置策略
- 新数据存放到哪写节点
- 数据均衡需要怎么合理搬迁数据3个副本怎么合理放置
3.3 DataNode设计
DataNode设计：数据如何落盘存放？
- 数据块路径
- 文件在NameNode已分割成block
- DataNodel以block为单位对数据进行存取
- 启动扫盘获得本机文件块列表
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
3.4 HDFS读写异常处理
3.4.1 HDSF写异常处理
-
Lease Recovery
- 情景：文件写了一半，client自己挂掉了，可能产生的问题： 副本不一致、Lease无法释放;
- 租约lease：Client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约;
- 副本不一致：比较系统三个副本内容大小（长度），选择最小的作为最终版本更新，最终的写入结果;
- Lease无法释放：客户端定期续租，如果超过设定时间，踢掉挂掉的client。
-
Pipeline Recovery
- 情景：文件写入过程中，DataNode侧出现异常挂掉了；
- 异常出现的时机：创建连接时、数据传输时、complete阶段（DN完成落盘后向上（NameNode）报新块）；
- 创建连接：重新选一个节点；
- 数据传输：如果有一个节点挂了，pipeline到重新构建阶段，将坏的节点摘除；
- complete阶段：pipeline重新构建，重新选节点。
3.4.2 HDFS读异常处理
- Client读异常处理；
- 情景：读取文件的过程，DataNode侧出现异常挂掉了；
- 解决办法：节点Failover；
- 增强情景：节点半死不过，读取很慢--------------->节点切换；
- 检测出快/慢，客户端网络问题导致的慢（客户端不断切换节点）。
3.5 旁路系统与控制面建设
3.5.1 旁路系统
- 异步解决问题，这些问题不是马上出现，而是不断积累恶化，影响系统运行；简化了系统的实现；
- Balancer：均衡DataNode的容量；
- Mover：确保副本放置符合策略要求，NameNode选择块放在哪里，分布在不同DataNode，且在两个不同的机架上；
- 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
3.5.2 控制面建设
控制面建设：保障系统稳定运行
- HouseKeeping组件：比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
- 可观测性设施：比如系统指标监控设施等，帮助快速发现定位问题。
- 运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台。
4 应用场景
-
大数据技术中的应用
- HDFS在大数据技术体系中的角色
- 演示：PySpark读取分析HDFS上的文件
- 数据如何产生
- 数据如何读取
- 数据如何保存
- ETL：数据如何产生、传输
- OLAP：如何高效地读取分析数据
-
存储底座
- HBase
- 机器学习
- 通用场景
参考资料： 【大数据专场 学习资料三】第四届字节跳动青训营
