大数据5-HBase

349 阅读1分钟

1. HBase概述

2. HBase的逻辑视图

3. HBase的物理视图

4. HBase整体架构

HMaster

每台 Region Server 都会与 Master 进行通信,HMaster 的主要任务就是告诉 Region Server 它需要维护哪些 Region,具体功能如下:

  • 1.管理用户对表的增删改查操作;
  • 2.管理 Region Server 的负载均衡,动态调整 Region 分布;
  • 3.在 Region 分裂后,负责新的 Region 的分配;
  • 4.在 Region Server 停机后,负责失效 Region Server 上的 Region 的迁移;

Region

Region:由多个Store组成,HBase使用表存储数据集,当表的大小超过设定的值时, HBase会自动将表划分为不同的Region,它是HBase集群上分布式存储和负载均衡的 最小单位。

Store:由两部分组成:MemStore和StoreFile。首先用户写入的数据存放到 MemStore中,当MemStore满了后刷入StoreFile。

image.png

Region Server

Region Server:由多个Region 组成,在整个集群中可能存在多个节点,每个节点只能运行一个Region Server,负责对HDFS中读写数据和管理Region和HLog。

HLog:Write ahead log(WAL*),到达Region上的写操作首先被追加到HLog中, 然后才被加载到MemStore,主要功能为故障修复,当某台Region Server发生故障, 新的Region Server在加载Region的时候可以通过HLog对数据进行恢复

image.png

  1. HBase API和实验
  2. HBase应用
  3. HBase Compaction
  4. HBase的高可用性和灾备
  5. HBase2.x