深入浅出 HBase 实战笔记（一）| 青训营笔记

LimeRanceLan
147 阅读5分钟

深入浅出 HBase 实战笔记（一）| 青训营笔记

这是我参与「第四届青训营 -大数据场」笔记创作活动的第14天

一、HBase 适用场景

1. 什么是 HBase

  • HBase 是一个开源的 NoSQL 分布式数据库，是 Apache 软件基金会顶级项目之一。

  • 参考Google BigTable的设计，对稀疏表提供更高的存储空间使用率和读写效率。

  • 采用存储计算分离架构

    • 存储层基于HDFS存储数据，提供容错机制和高可靠性;
    • 计算层提供灵活快速的水平扩展、负载均衡和故障恢复能力;

  • 提供强一致语义，在CAP理论中属于CP系统。

    • Consistency, Availability ,Partition Tolerance

2. HBase 和关系型数据库的区别

image.png

3. HBase 数据模型

  • HBase以列族（column family）为单位存储数据，以行键（rowkey）索引数据。

    • 列族需要在使用前预先创建，列名(column qualifier)不需要预先声明，因此支持半结构化数据模型。
    • 支持保留多个版本的数据，(行键＋列族＋列名＋版本号）定位一个具体的值。

image.png

3.1 逻辑结构

  • 通过非关系型视图理解 HBase数据模型：

    • 适合稀疏数据，缺省列不占用存储空间
    • 通过（rowkey, column family, column qualifier, version）
    • 唯一指定一个具体的值
    • 允许批量读取多行的部分列族/列数据
3.2 物理结构

  • 物理数据结构最小单元是 KeyValue 结构：

    • 每个版本的数据都携带全部行列信息
    • 同一行，同一列族的数据物理上连续有序存储
    • 同列族内的 KeyValue 按 rowkey 字典序升序，column qualifier 升序，version 降序排列
    • 不同列族的数据存储在相互独立的物理文件，列族间不保证数据全局有序
    • 同列族下不同物理文件间不保证数据全局有序
    • 仅单个物理文件内有序

image.png

image.png

4. 使用场景

  • “近在线”的海量分布式KV/宽表存储，数据量级达到PB级以上
  • 写密集型应用，高吞吐，可接受一定的时延抖动
  • 字典序主键索引、批量顺序扫描多行数据的场景
  • Hadoop大数据生态友好兼容
  • 结构化、半结构化数据，行列稀疏的数据分布，可以经常新增/更新列属性
  • 平滑的水平扩展能力，快速响应数据体量、流量变化
4.1 典型应用
  • 电商订单数据：查询最新/待处理订单进度
  • 搜索推荐引擎：存储原始数据、排序推荐结果
  • 广告数据流：触达、点击、转化等事件流
  • 用户交互数据：IM、Email、点赞、搜索
  • 时序数据引擎：日志、监控（OpenTSDB）
  • 图存储引擎：JanusGraph
  • 大数据生态：高度融入 Hadoop生态

image.png

4.2 半结构化/字典序有序索引的数据

image.png

4.3 “近在线” 海量分布式KV/宽表存储

image.png

image.png

4.4 写密集型的高吞吐场景

image.png

5. 数据模型的优缺点

优势缺点
稀疏表友好，不存储缺省列，支持动态新增列类型每条数据都要冗余存储行列信息
支持保存多版本数据不支持二级索引，只能通过 rowkey 索引，查询效率依赖 rowkey 设计
支持只读取部分column family的数据，避免读取不必要的数据column family数量较多时可能引发性能衰退
支持的数据规模相比传统关系型数据库更高，更易水平扩展不支持数据类型，一律按字节数组存储
支持 rowkey 字典序批量扫描数据仅支持单行内的原子性操作，无跨行事务保障

二、HBase 架构设计

1. HBase 架构设计

主要组件：

  • HMaster：元数据管理,集群调度、保活。
  • RegionServer：提供数据读写服务，每个实例负责若干个互不重叠的 rowkey 区间内的数据。
  • ThriftServer：提供Thrift API读写的代理层。

依赖组件：

  • Zookeeper：分布式一致性共识协作管理，例如 HMaster 选主、任务分发、元数据变更管理等。
  • HDFS：分布式文件系统，HBase数据存储底座。

image.png

2. Hmaster 主要职责

  • 管理RegionServer实例生命周期，保证服务可用性
  • 协调RegionServer 数据故障恢复，保证数据正确性
  • 集中管理集群元数据，执行负载均衡等维护集群稳定性
  • 定期巡检元数据，调整数据分布，清理废弃数据等
  • 处理用户主动发起的元数据操作如建表、删表等
2.1 主要组件

image.png

  • ActiveMasterManager：管理HMaster的active/backup状态
  • ServerManager：管理集群内RegionServer 的状态
  • AssignmentManager：管理数据分片(region) 的状态
  • SplitWalManager：负责故障数据恢复的WAL拆分工作
  • LoadBalancer：定期巡检、调整集群负载状态
  • RegionNormalizer：定期巡检并拆分热点、整合碎片
  • CatalogJanitor：定期巡检、清理元数据
  • Cleaners：定期清理废弃的HFile / WAL等文件
  • MasterFileSystem：封装访问HDFS的客户端SDK

3. RegionServer 主要职责

  • 提供部分rowkey区间数据的读写服务
  • 如果负责meta表，向客户端SDK提供rowkey位置信息
  • 认领HMaster发布的故障恢复任务，帮助加速数据恢复过程
  • 处理HMaster下达的元数据操作，如region打开/关闭1分裂1合并操作等

image.png

3.1 主要组件
  • MemStore：基于SkipList 数据结构实现的内存态存储，定期批量写入硬盘
  • Write -Ahead-Log：顺序记录写请求到持久化存储，用于故障恢复内存中丢失的数据
  • Store：对应一个Column Family在一个region下的数据集合，通常包含多个文件
  • StoreFile：即HFile, 表示HBase在HDFS存储数据的文件格式，其内数据按rowkey字典序有序排列
  • BlockCache：HBase以数据块为单位读取数据并缓存在内存中以加速重复数据的读取

4. ZooKeeper 主要职责

  • HMaster登记信息，对active/backup分工达成共识
  • RegionServer登记信息，失联时HMaster保活处理
  • 登记meta表位置信息，供SDK查询读写位置信息
  • 供HMaster和RegionServer协作处理分布式任务

image.png

5. ThriftServer 主要职责

  • 实现HBase定义的Thrift API，作为代理层向用户提供RPC读写服务
  • 用户可根据IDL自行生成客户端实现
  • 独立于RegionServer水平扩展，用户可访问任意ThritServer实例（scan操作较特殊，需要同实例维护scan状态）

image.png

avatar
文章
阅读
粉丝