这是我参与「第四届青训营 -大数据场」笔记创作活动的第15篇笔记
本文已参与「新人创作礼」活动， 一起开启掘金创作之路。
HBase架构设计
HBase架构设计
主要组件包括
- HMaster：元数据管理、集群调度、保活
- RegionServer：提供数据读写服务，每个实例负责若干个互不重叠的rowkey区间内的数据
- ThriftServer：提供Thrift API读写的代理层
依赖组件包括：
- Zookeeper：分布式一致性共识协作管理
- HDFS：分布式文件系统，HBase数据存储底座
HMaster
HMaster主要职责
- 管理ReginServer实例生命周期，保证服务可用性
- 协调ReginServer数据故障恢复，保证数据正确性
- 集中管理集群元数据，执行负载均衡等维护集群稳定性
- 定期巡检元数据，调整数据分布，清理废弃数据等
- 处理用户主动发起的元数据操作如建表、删表等
主要组件
- ActiveMasterManager：管理HMaster的active/backup状态
- ServerManager：管理集群内RegionServer的状态
- AssignmentManager：管理数据分片(region)的状态
- SplitWalManager：负责故障数据恢复的WAL拆分工作
- LoadBalancer：定期巡检、调整集群负载状态
- RegionNormalizer：定期巡检并拆分热点、整合碎片
- CatalogJanitor：定期巡检、清理元数据
- Cleaners：定期清理废弃的HFile/WAL文件
- MasterFileSystem：封装访问HDFS的客户端SDK
RegionServer主要职责
- 提供部分rowkey区间数据的读写服务
- 如果负责meta表，向客户端SDK提供rowkey位置信息
- 认领HMaster发布的故障恢复任务，帮助加速数据恢复过程
- 处理HMaster下达的元数据操作
RegionServer主要组件
- MemStore：基于SkipList数据结构实现的内存太存储，定期批量写入硬盘
- Write-Ahead-Log：顺序记录写请求到持久化存储，用于故障恢复内存中丢失的数据
- StoreFile：即HFile，表示HBase在HDFS存储数据的文件格式，其内数据按rowkey字典序有序排列
- BlockCache：HBase以数据块为单位读取数据并缓存在内存中以加速重复数据的读取
ZooKeeper主要职责
- HMaster登记信息，对active/backup分工达成共识
- RegionServer登记信息，失联时HMaster保活处理
- 登记meta表位置信息，供SDK查询读写位置信息
- 供HMaster和RegionServer协作处理分布式任务
ThriftServer主要职责
- 实现HBase定义的Thrift API ， 作为代理层向用户提供RPC读写服务
- 用户可根据IDL自行生成客户端实现
- 独立于RegionServer水平扩展，用户可访问任意ThriftServer实例
