G术时刻 |GBase 8a数据库双活容灾方案之可视化集群双活同步工具核心功能

0 阅读3分钟

南大通用(gbase database)可视化集群双活同步工具软件(GBase Visio Rsynctool),是GBASE南大通用自主研发的、专门适用于GBase 8a MPP Cluster的集群间同步工具。通过 GVR,可以灵活高效的实现集群间的数据同步,并对同步任务进行实时的监控、统计和告警,极大降低集群间同步的运维成本,保障集群灾备场景下两个集群的数据一致性。

GVR同步功能介绍

  • 可配置同步库、表范围
  • 可配置同步对象类型,支持表、存储过程、函数、视图的同步
  • 可配置同步任务参数,自定义同步模式、同步并行度、是否表覆盖等参数值
  • 可配置同步任务定时调度规则,支持按年、月、周、时、秒为周期进行任务启动/停止
  • 可自由对同步任务进行暂停、继续、终止操作,灵活控制任务状态。
  • 支持任务版本管理。任务历史与任务版本对应。可追溯查看已执行任务的任务配置信息

核心功能主要在自定义同步参数,根据不同的同步需求,自定义配置,满足业务要求。

参数名称参数描述
集群同步模式【先同步主分片】模式:先将主分片从主集群同步至备集群表;之后利用同步完成的主分片,在备集群内部进行主备分片同步。推荐使用该模式,绝大多数案例也是使用该模式。【只同步一组分片】和【同时同步主备分片】模式不推荐使用。
同步回收 delete 数据空间开启后,如果主库数据表上做了 shrink space 清理 delete 数据空间的操作, 同步该表后,会实现同样的效果,回收备集群数据空间。
数据回读校验开启后,会利用 CRC 技术检查每一个 DC 数据在写入磁盘过程中是否发生错误。该参数会降低同步的性能,同时增加备集群的磁盘 IO 消耗;仅推荐在部署初期为了验证同步的正确性时采用。
备库是否建表指定当主库存在某表,备库不存在该表时是否在备库上自动创建表并进行表同步。
是否进行表覆盖指定当主库存在某表,备库也存在该表,但主备库表表结构不同(通过 show create table 语句比较)时,是否删除备库上该表,并按照主库表结构重新建表再进行表同步。
是否删除备库多余表指定当主库不存在某表,但备库存在该表时,是否将备库上的该表自动删除掉。
是否进行预同步指定是否在实际执行同步任务前进行预同步操作(适合 100+ 节点规模集群,1w+ 表数量以上)
表同步并行度指定同一时间内并行同步表的数量,会影响总体同步时间、集群同步压力(磁盘、网络)、GVR 服务器压力
是否启用 IP 映射指定是否开启 IP 映射(适用于主备集群数据节点间网络不直接互通,需要进行业务网段映射的情况),开启后需要上传 CSV 格式的映射文件
同步带宽限速对主备集群间同步主分片时的网络总带宽进行限速,防止影响其它业务。(9.5.3.27.21、9.5.3.28)
是否开启元数据快照开启后支持被同步表的 DML 并发,可明显提升主库有 dml 业务频繁访问下的同步速度。需要集群版本支持(9.5.3.27.21、9.5.2.47、9.5.3.28/29/30)
分区表增量分区同步对于分区表,支持在常见增减分区规则下的分区 DDL 自动变更以实现分区增量同步