HDFS原理与应用笔记（一）| 青训营笔记
这是我参与「第四届青训营 -大数据场」笔记创作活动的第8天
一、HDFS基本介绍
1. Hadoop技术体系
- 存储层：HDFS
- 调度层：YARN
- 计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。
2. 文件系统
单机文件系统非常普遍，从Windows NTFS到Linux的Ext4等，分布式文件系统是单机文件的延伸，概念术语是相通的，比如目录、文件、目录树等。
- 单机文件系统：常见的如Windows NTFS，Linux的Ext4，虽然不同的操作系统和实现，但是本质都是一样的，解决相同的问题。
- 分布式文件系统：本质上扩展、延伸了单机文件系统，提供了大容量、高可靠、低成本等功能特性；实现上一般也更为复杂。
3. 分布式存储系统
了解分布式存储系统的分类，理解不同存储系统的使用场景。直观的区别是用户使用方式，本质是针对不同的使用场景提供高效合理的系统。
- 对象存储：例如AWS的S3，阿里云的OSS，开源的Minio。
- 块存储：例如AWS的EBS，开源社区也有Ceph等。
- 文件系统：HDFS、GlusterFS、CubeFS等
- 数据库：KV数据库比如Cassandra，关系型数据库如TiDB、OceanBase等
4. HDFS功能特性
需要注意HDFS尽管是一个文件系统，但是它没有完整实现POSIX文件系统规范。
- 分布式：受GFS启发，用java实现的开源系统，没有实现完整的posix文件系统语义
- 容错：自动处理、规避很多错误场景，例如常见的网络错误、机器宕机
- 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
- 高吞吐：client直接从DataNode读取用户数据，服务端支持海量client并发读写
- 可扩展：支持联邦集群模式、DataNode数量可达10W级别
- 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备
5. HDFS演示环境
展示一个完整的HDFS服务的部署结构和基本的基本的交互方式，通过简单的交互读写操作开始了解学习HDFS。
- 节点类型：ZooKeeper/JournalNode/NameNode/DataNode
- HDFS 命令行交互
- HDFS Web UI
二、HDFS架构原理
1. 分布式存储系统基本概念
- 容错能力
- 一致性模型
- 可扩展性
- 节点体系模式
- 数据放置策略
- 单机存储引擎
2. HDFS组件
- Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。
- NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。
- DataNode：数据节点，存放实际用户数据。
3. Client写流程
4. Client读流程
5. 元数据节点NameNode
- 维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致
- 维护文件和数据块的关系：文件被切分成多个块文件以数据块为单位进行多副本存放
- 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在DataNode类表
- 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode
6. 数据节点DataNode
- 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取
- 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态
- 副本复制：数据写入是Pipeline IO 操作、机器故障时补全副本
