HDFS原理与应用|青训营笔记

huntressie
192 阅读4分钟

这是我参与「第四届青训营 」笔记创作活动的的第8天

  • HDFS基本概念
    • 分布式文件系统
      • 大容量
        • 更多的机器，更多的存储介质
      • 高可靠
        • 多个副本提高容错能力
      • 低成本
        • 不需要高端硬件扩容
    • 分布式存储系统
      • 对象存储
      • 文件系统
      • 块存储
      • 数据库
    • HDFS功能特性
      • 分布式
        • 受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义
      • 容错
        • 自动处理，规避多种错误场景，例如常见的网络错误、机器宕机等
      • 高可用
        • 一主多备模式实现元数据高可用，数据多副本实现用户数据的多可用
      • 高吞吐
        • Client直接从DataNode读取用户数据，服务端支持海量Client并发读写
      • 可扩展
        • 支持联邦集群模式，DataNode数量可达10w级别
      • 廉价
        • 只需要通用硬件，不需要定制高端的昂贵硬件设备
  • HDFS架构原理
    • 元数据节点NameNode
      • 维护目录树
        • 维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或者不一致
      • 维护文件和数据块的关系
        • 文件被切分为多个块，文件以数据块为单位进行多副本存放
      • 维护文件块存放节点信息
        • 通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表
      • 分配新文件存放节点
        • Client创建新的文件时，需要有NameNode来确定分配目标DataNode
    • 数据节点DataNode
      • 数据块存取
        • DataNode需要高效实现对数据块在硬盘上的存取
      • 心跳汇报
        • 把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态。
      • 副本复制
        • 数据写入时Pipeline IO操作
        • 机器故障时补全副本
  • HDFS关键设计
    • 分布式存储系统基本概念
      • 容错能力
        • 能够处理绝大部分异常场景，例如服务器宕机、网络异常、磁盘故障、网络超时等
      • 一致性模型
        • 为了实现容错，数据必须多副本存放，一致性要解决的问题是如何保障这多个副本的内容都是一致的
      • 可扩展性
        • 分布式存储系统需要具备横向扩张scale-out的能力
      • 节点体系
        • 常见的有主从模式、对等模式等，不管哪种模式，高可用是必须的功能。
      • 数据放置
        • 系统是由多个节点组成，数据是多个副本存放时，需要考虑数据存放的策略
      • 单机存储引擎
        • 在绝大部分存储系统中，数据都是需要落盘持久化，单机引擎需要解决的是根据系统特点，如何高效的存取硬盘数据
    • NameNode目录树维护
      • fsimage
        • 文件系统目录树
        • 完整的存放在内存中
        • 定时存放在硬盘上
        • 修改只会修改内存中的目录树
      • EditLog
        • 目录树的修改日志
        • client更新目录需要持久化EditLog后才能表示更新成功
        • EditLog可存放在本地文件系统，也可存放在专用系统上
        • NameNode HA方案的一个关键点就是如何实现EditLog共享
    • NameNode数据放置
      • 数据块信息维护
        • 目录树保存每个文件的块id
        • NameNode维护了每个数据块所在的节点信息
        • NameNode根据DataNode汇报的信息动态维护位置信息
        • NameNode不会持久化数据块位置信息
      • 数据放置策略
        • 新数据存放到哪写节点
        • 数据均衡需要怎么合理搬迁数据
        • 3个副本怎么合理放置
    • DataNode
      • 数据块的硬盘存放
        • 文件在NameNode已分割成block
        • DataNode以block为单位对数据进行存取
      • 启动扫盘
        • DataNode需要知道本机存放了哪些数据块
        • 启动时把本机硬盘上的数据块列表加载到内存中
    • HDFS写异常处理
      • 情景1
        • 文件写了一半，client自己挂掉了。可能产生的问题:
          • 副本不一致
          • Lease无法释放
        • 租约(Lease)
          • client要修改一个文件时，需要通过NameNode上锁，这个锁就是租约
        • 解决办法
          • Lease Recovery
      • 情景2
        • 文件写入过程中，DataNode侧出现异常挂掉了
        • 异常出现的时机
          • 创建连接时
          • 数据传输时
          • complete阶段
        • 解决办法
          • Pipeline Recovery
    • client读异常处理
      • 读取文件的过程中，DataNode侧出现异常挂掉了
      • 解决办法
        • 节点Failover
    • 旁路系统
      • Balancer
        • 均衡DataNode的容量
      • Mover
        • 确保副本放置符合策略要求
    • 控制面建设
      • 可观测性设施
        • 指标埋点
        • 数据采集
        • 访问日志
        • 数据分析
      • 运维体系建设
        • 运维操作需要平台化
        • NameNode操作复杂
        • DataNode机器规模庞大
        • 组件控制面API
    • 应用场景
      • ETL(Extract,Transform,Load)
      • OLAP查询引擎
avatar
文章
阅读
粉丝