这是我参与「第四届青训营 」笔记创作活动的第10天

HBase简介

HBase是一个开源的NoSQL分布式数据库，是Apache软件基金会顶级项目之一。

采用存储计算分离架构：

• 存储层基于HDFS存储数据，提供容错机制和高可靠性
• 计算层提供灵活快速的水平扩展、负载均衡和故障恢复能力

HBase数据模型

逻辑结构

HBase以列族（column family）组织数据，以行键（rowkey）索引数据

• 列族需要在使用前预先创建，列名不需要预先声明，因此支持半结构化数据模型
• 支持保留多个版本的数据，（行键+列族+列名+版本号）定位一个具体的值

物理结构

物理数据结构最小单元是KeyValue结构

• 每个版本的数据都携带全部行列信息
• 同一行，同一列族的数据物理上连续有序存储
• 同列族内的KeyValue按rowkey字典序升序，column qualifier升序，version降序排列
• 不同列族的数据存储在相互独立的物理文件，列族间不保证数据全局有序
• 同列族下不同物理文件间不保证数据全局有序
• 仅单个物理文件内有序

HBase架构设计

HBase主要组件包括：

• HMaster：元数据管理、集群调度、保活
• RegionServer：提供数据读写服务，每个实例负责若干个互不重叠的rowkey区间内的数据
• ThriftServer：提供Thrift API读写的代理层

依赖组件包括：

• Zookeeper：分布式一致性共识协作管理，例如HMaster选主、任务分发、元数据变更管理等
• HDFS：分布式文件系统，HBase数据存储底座

Hmaster

主要职责：

• 管理RegionServer实例生命周期，保证服务可用性
• 协调RegionServer数据故障恢复，保证数据正确性
• 集中管理集群元数据，执行负载均衡等维护集群稳定性
• 定期巡检元数据，调整数据分布，清理废弃数据等
• 处理用户主动发起的元数据操作如建表、删表等

主要组件：

• ActiveMasterManager:管理HMaster的active/backup状态
• ServerManager:管理集群内RegionServer的状态
• AssignmentManager:管理数据分片(region)的状态
• SplitWalManager:负责故障数据恢复的WAL拆分工作
• LoadBalancer:定期巡检、调整集群负载状态
• RegionNormalizer:定期巡检并拆分热点、整合碎片
• CatalogJanitor:定期巡检、清理元数据
• Cleaners:定期清理废弃的HFile/WAL等文件
• MasterFileSystem:封装访问HDFS的客户端SDK

RegionServer

主要职责：

• 提供部分rowkey区间数据的读写服务
• 如果负责meta表，向客户端SDK提供rowkey位置信息
• 认领HMaster发布的故障恢复任务，帮助加速数据恢复过程
• 处理HMaster下达的元数据操作，如region打开关闭/分裂/合并操作等

主要组件：

• MemStore:基于SkipList数据结构实现的内存态存储，定期批量写入硬盘
• Write-Ahead-Log:顺序记录写请求到持久化存储，用于故障恢复内存中丢失的数据
• Store:对应一个Column Family在一个region下的数据集合，通常包含多个文件
• StoreFile:即HFile,表示HBase在HDFS存储数据的文件格式，其内数据按rowkey字典序有序排列
• BlockCache:HBase以数据块为单位读取数据并缓存在内存中以加速重复数据的读取

ZooKeeper

主要职责：

• HMaster登记信息，对active/backup分工达成共识
• RegionServer登记信息，失联时HMaster保活处理
• 登记meta表位置信息，供SDK查询读写位置信息
• 供HMaster和RegionServer协作处理分布式任务

ThriftServer

主要职责：

• 实现HBase定义的Thrift API,作为代理层向用户提供RPC读写服务
• 用户可根据IDL自行生成客户端实现
• 独立于RegionServer水平扩展，用户可访问任意ThriftServer实例(scan操作较特殊，需要同实例维护scan状态)