Hbase集群间数据复制

989 阅读1分钟

通过WAL记录更改的内容,同步wal到另外一个集群,在另外一个集群重放wal,从而达到集群同步的目的。

用处

  • 备份和灾难恢复
  • 数据聚合
  • 地理数据分布
  • 在线数据摄取与离线数据分析相结合

配置hbase-site.xml

  • 开启复制(主从集群都要配置)
<property>
	<name>hbase.replication</name>
	<value>true</value>
</property>	

设置

  • 在主从集群建一张一样的表
create 'itclj01',{NAME => 'f'}
  • 设置表复制模式

REPLICATION_SCOPE有3个枚举值

  • 0:
  • 1:
  • 2:
disable 'itclj01'

alter 'itclj01',{NAME=>'f', REPLICATION_SCOPE=>'1'}

enable 'itclj01'
  • 在主集群添加同步的目标集群
---------------------------------------------
add_peer '1', CLUSTER_KEY => "laptop-fpj1fpv7:2182:/hbase"

set_peer_tableCFs '1','itclj01'

验证

在主集群往设置了同步的表插入数据,在从集群可用查到插入的数据

put 'itclj01','k003','f:name','v003'

scan 'itclj01'