这是我参与「第五届青训营 」伴学笔记创作活动的第 24 天
这里是HDFS相关内容的介绍，本节课程主要介绍了HDFS 项目的基本情况，并从当前系统出发，详细的介绍了分布式文件系统，结合实际演示展示了两种和 HDFS 交互的简单方式，帮助大家更好的去理解。
HDFS基本介绍
Hadoop Distributed File System
单机文件系统
-
Windows单机文件系统
-
Linux单机文件系统：
- BTRFS
- ZFS
- XFS
- EXT4（NJU课程上遇到的）
分布式文件系统
-
好处：
- 大容量：更多机器
- 高可靠：多个副本提高容错能力
- 低成本：不需要高端硬件来扩容
分布式存储系统
HDFS功能特性
HDFS用Java实现的哈！被GFS的论文启发昂！
-
分布式
受GFS启发,用Java实现的开源系统，没有 实现完整的POSIX文件系统语义
-
容错 自动处理、规避多种错误场景，例如常见的 网络错误、机器宕机等。
-
高可用
主多备模式实现元数据高可用，数据多副 本实现用户数据的高可用
- 高吞吐 Client直接从DataNode读取用户数据,服务端支持海 量client并发读写
- 可扩展 支持联邦集群模式，DataNode数量可达10w级别
- 廉价 只需要通用硬件,不需要定制高端的昂贵硬件设备
业务发展是可以促进技术创新的昂！！！
- 抽象出来的文件系统，你要学习使用的话肯定简单，无非就是接口嘛！和本地看起来差别不大的昂！！！
架构原理
HDFS组件
Client/SDK: 客户端
NameNode: HDFS中枢节点，元数据管理，比较复杂
DataNode: 用户数据传输到实际存储的节点就是DataNode
- NameNode数量少，但是很复杂，很重要昂！！！
Client 写流程
Client 读流程
元数据节点 NameNode
- 维护目录树 维护目录树的增删改查操作，保证所有修改都能持久化,以便机器掉电不会造成数据丢失或不一致。
- 维护文件和数据块的关系 文件被切分成多个块，文件以数据块为单位进行多副本存放。
- 维护文件块存放节点信息 通过接收DataNode的心跳汇报信息,维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表。
- 分配新文件存放节点 Client创建新的文件时候,需要有NameNode来确定分配目标DataNode
数据节点 DataNode
-
数据块存取 DataNode需要高效实现对数据块在硬盘上的存取
-
心跳汇报 把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息,同时让NameNode确定该节点处于正常存活状态
-
副本复制
- 数据写入时Pipeline l0操作
- 机器故障时补全副本
关键设计
分布式存储系统基本概念
- 容错能力 能够处理绝大部分异常场景,例如服务器宕机、网络异常、磁盘故障、网络超时等。
- 一致性模型 为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的
- 可扩展性 分布式存储系统需要具备横向扩张scale-out的能力
- 节点体系 常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
- 数据放置 系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略。
- 单机存储引擎 在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效得存取硬盘数据。
NameNode目录树维护
-
fsimage
- 文件系统目录树
- 完整的存放在内存中
- 定时存放到硬盘上
- 修改是只会修改内存中的目录树
-
EditLog
- 目录树的修改日志
- client更新目录树需要持久化EditL og后才能表示更新成功
- EditLog可存放在本地文件系统，也可存放在专用系统上
- NameNode HA方案一个关键 点就是如何实现EditL og共享
EditLog就类似于MySQL中的undolog/redolog之类的，日志！！！
也许类似于BDWare中的账本？？？
NameNode数据放置
-
数据块信息维护
- 目录树保存每个文件的块id
- NameNode维护了每个数据块所在的节点信息
- NameNode根据DataNode汇报的信息动态维护位置信息
- NameNode不会持久化数据块位置信息
-
数据放置策略
- 新数据存放到哪写节点
- 数据均衡需要怎么合理搬迁数据
- 3个副本怎么合理放置
方式2更加合理昂，副本分开存放，同一个机架两个，另外一个机架一个昂！！！
Block ID很重要，就是HDFS中唯一区分块儿的ID，用于区分一个块儿昂！！！
DataNode
-
数据块的硬盘存放
- 文件在NameNode已分割成block
- DataNode以block为单位对数据进行存取
-
启动扫盘
- DataNode需要知道本机存放了哪些数据块
- 启动时把本机硬盘上的数据块列表加载在内存中
HDFS写异常处理
Lease Recovery
-
租约: Client 要修改一个文件时，需要通过NameNode上锁，这个锁就是租约(Lease) 。
-
情景:文件写了一半，client自己挂掉了。可能产生的问题:
- 副本不一致
- Lease无法释放
解决方法: Lease Recovery
副本不一致：每次读的数据可能不一样，无法接受。思想：比较副本的内容长度，选最小的长度作为版本。（最安全）
Lease无法释放：🔒释放不了。客户端要定期续租，如果没有续租，就会判断为死了昂！！！锁就能给别人了，顺带把这个Client踢掉了。
Pipeline Recovery
- 情景：文件写入过程中，DataNode侧出现问题挂掉了
-
异常出现的时机:
- 创建连接时
- 数据传输时
- complete阶段
解决方法: Pipeline Recovery
创建连接时：重新选一个呗
数据传输时：重新构建，把坏的摘出去
complete时：重新再写等
HDFS读异常处理
- 情景：读取文件过程中，DataNode侧出现异常挂了。
- 解决方法：节点Failover
- 增强情景：节点半死不活，太慢了。
解决方法：换一个读嘛
旁路系统
很多问题是逐渐累计出现的，不影响我系统正常运行。异步解决一些系统累计出现的问题。（例如集群机器负载不均衡）旁路？陪跑！
控制面建设
-
可观测性设施
- 指标埋点
- 数据采集
- 访问日志
- 数据分析
-
运维体系建设
- 运维操作需要平台化
- NameNode操作复杂
- DataNode机器规模庞大
- 组件控制面API
应用场景
使用HDFS的公司
初窥大数据生态
PySpark和HDFS交互演示
DIY一下昂！
实验一
- 读取本地表格文件/tmp/ zipcodes.csv
- 执行SELECT操作
- 把SELECT结果保存/tmp/zipcodes-lite目彖下
实验二
- 读取HDFS上的表格文件/tmp zipcodes.csv
- 执行SELECT操作
- 把SELECT结果保存到HDFS的/tmp/zipcodes-lite目彖下
ETL
Extract, Transform, Load
OLAP查询引擎
HBase
机器学习
通用存储应用
References
- PySpark读写HDFS文件示例：blog.csdn.net/abcdrachel/…
