HDFS 原理与应用 | 青训营笔记

纯纯子
133 阅读7分钟

这是我参与 「第四届青训营 」 笔记创作活动的第7天

笔记

  • 认识Hadoop技术体系，理解“计算+存储”的程序应用逻辑

    • 存储层：HDFS
    • 调度层：YARN
    • 计算框架：MapReduce。值得注意的是另外一个同属于Apache基金会的开源计算框架Apache Spark，当前业界的使用已经远超于MapReduce，尽管它不属于Hadoop项目，但是和Hadoop也有紧密关系。

  • 文件系统：单机文件系统非常普遍，从Windows NTFS到Linux的Ext4等，分布式文件系统是单机文件的延伸，概念术语是相通的，比如目录、文件、目录树等。

    • 单机文件系统：常见的如Windows NTFS，Linux的Ext4，虽然不同的操作系统和实现，但是本质都是一样的，解决相同的问题。
    • 分布式文件系统：本质上扩展、延伸了单机文件系统，提供了大容量、高可靠、低成本等功能特性；实现上一般也更为复杂。

  • 分布式存储系统，了解分布式存储系统的分类，理解不同存储系统的使用场景。直观的区别是用户使用方式，本质是针对不同的使用场景提供高效合理的系统。

    • 对象存储：例如AWS的S3，阿里云的OSS，开源的Minio。
    • 块存储：例如AWS的EBS，开源社区也有Ceph等。
    • 文件系统：HDFS、GlusterFS、CubeFS等
    • 数据库：KV数据库比如Cassandra，关系型数据库如TiDB、OceanBase等

  • HDFS功能特性：需要注意HDFS尽管是一个文件系统，但是它没有完整实现POSIX文件系统规范。

    • 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
    • 容错：自动处理、规避多种错误场景，例如常见的网络错误、机器宕机
    • 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用
    • 高吞吐：Client 直接从 DataNode 读取用户数据，服务端支持海量 client 并发读写
    • 可扩展：支持联邦式集群模式，DataNode数量可达 10w 级别
    • 廉价：只需要通用硬件，不需要制定高昂的硬件设备

  • HDFS演示环境：展示一个完整的HDFS服务的部署结构和基本的基本的交互方式，通过简单的交互读写操作开始了解学习HDFS。

    • 节点类型：ZooKeeper/JournalNode/NameNode/DataNode
    • HDFS 命令行交互
    • HDFS Web UI

架构原理

  • HDFS组件：

    • HDFS组件

  • 分布式存储系统的基本概念，这些概念基本上每个分布式存储系统都会涉及到。

    • 容错能力
    • 一致性模型
    • 可扩展性
    • 节点体系模式
    • 数据放置策略
    • 单机存储引擎

  • HDFS组件

    • Client/SDK：读写操作的发起点，HDFS很多读写逻辑都是在SDK中实现的。

      • （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；

        （2）与NameNode交互，获取文件的位置信息；

        （3）与DataNode交互，读取或者写入数据；

        （4）Client提供一些命令来管理HDFS，比如NameNode格式化；

        （5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

      • 写操作

        • client写流程.jpg

      • 读流程：

        • client读流程.jpg

    • NameNode：元数据节点，是HDFS的中枢节点，也是服务的入口。(最少，但是最复杂)

      • （1）维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致

        （2）维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放

        （3）维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件所有副本所在的DataNode类表

        （4）分配新文件存放节点：client创建新的文件时，需要有NameNode来确定分配目标DataNode

      • ）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不

        能马上替换NameNode并提供服务。

        （1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；

        （2）在紧急情况下，可辅助恢复NameNode。

namenode.jpg - DataNode：数据节点，存放实际用户数据。

    -   ）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。

        （1）存储实际的数据块：DataNode需要高效实现对数据块在硬盘上的存取

        （2）执行数据块的读/写操作

        （3）心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态

        （4）副本复制：数据写入时 pipeline IO操作；机器故障时补全副本

    -

DataNode.jpg

关键设计

  • 分布式存储系统基本概念：

    • 容错能力：能够处理大部分异常场景，例如服务宕机、网络异常、磁盘故障、网络超时等
    • 一致性模型：为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这个多副本的内容都是一致的
    • 可扩展性：分布式存储系统需要具备横向扩张 scale-out 的能力
    • 节点体系：常见的有主从模式、对等模式、不管哪种模式，高可用是必须的功能
    • 数据放置：系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略
    • 单机存储引擎：在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效地存取硬盘数据

  • NameNode目录树设计，重点理解EditLog的设计，可类比关系型数据库中的Transaction Log概念。

    • 仅在内存中修改：fsimage

      • 文件系统目录树
      • 完整的存放在内存中
      • 定时存放到硬盘中：做快照
      • 修改只会修改内存中的目录树

    • 需要立即保存到硬盘：EditLog

      • 目录树的修改日志
      • client更新目录树需要持久化EditLog后才能表示更新成功
      • EditLog可存放在本地文件系统，也可存放在专用系统上
      • NameNode HA方案一个关键点就是如何实现EditLog共享

  • NameNode数据放置：数据分散在各个节点上，如何定位找到它们？

    • 文件和数据块的映射关系：数据块信息维护

      • 目录树保存每个文件的块id
      • NameNode 维护了每个数据块所在的节点信息
      • NameNode 根据 DataNode汇报的信息动态维护位置信息
      • NameNode 不会持久化数据块位置信息

    • 数据块的放置分布策略

      • 新数据存放到哪写节点
      • 数据均匀需要怎么合理搬迁数据
      • 3个副本怎么合理放置

    • NameNode数据放置.jpg

  • DataNode设计：数据如何落盘存放？

    • 数据块路径

      • 文件在NameNode已分割成block
      • DataNode以block为单位读数据进行存取

    • 启动扫盘获得本机文件块列表

      • DataNode需要知道本机存放了哪些数据块
      • 启动时把本机硬盘上的数据块列表加载在内存中

  • Client读写链路的异常处理

    • Server端异常
    • Client端异常
    • 慢节点

  • 控制面建设：保障系统稳定运行

    • HouseKeeping组件：比如Balancer，Mover等， 这些组件不运行不会马上影响读写操作，但是长时间会积累系统性问题，例如读写不均衡导致IO热点等。
    • 可观测性设施：比如系统指标监控设施等，帮助快速发现定位问题。
    • 运维体系建设：从最基本的命令行手工操作，脚本自动化再到完善的运维平台。

应用场景

  • 大数据技术中的应用

    • HDFS在大数据技术体系中的角色

    • 演示：PySpark读取分析HDFS上的文件

      • 数据如何产生
      • 数据如何读取
      • 数据如何保存

    • ETL：数据如何产生、传输

    • OLAP：如何高效地读取分析数据

  • 存储底座

    • HBase
    • 机器学习
    • 通用场景
avatar
文章
阅读
粉丝