南大通用(gbase database)可视化集群双活同步工具软件(GBase Visio Rsynctool),是GBASE南大通用自主研发的、专门适用于GBase 8a MPP Cluster的集群间同步工具。通过 GVR,可以灵活高效的实现集群间的数据同步,并对同步任务进行实时的监控、统计和告警,极大降低集群间同步的运维成本,保障集群灾备场景下两个集群的数据一致性。
GVR同步功能介绍
- 可配置同步库、表范围
- 可配置同步对象类型,支持表、存储过程、函数、视图的同步
- 可配置同步任务参数,自定义同步模式、同步并行度、是否表覆盖等参数值
- 可配置同步任务定时调度规则,支持按年、月、周、时、秒为周期进行任务启动/停止
- 可自由对同步任务进行暂停、继续、终止操作,灵活控制任务状态。
- 支持任务版本管理。任务历史与任务版本对应。可追溯查看已执行任务的任务配置信息
核心功能主要在自定义同步参数,根据不同的同步需求,自定义配置,满足业务要求。
| 参数名称 | 参数描述 |
|---|---|
| 集群同步模式 | 【先同步主分片】模式:先将主分片从主集群同步至备集群表;之后利用同步完成的主分片,在备集群内部进行主备分片同步。推荐使用该模式,绝大多数案例也是使用该模式。【只同步一组分片】和【同时同步主备分片】模式不推荐使用。 |
| 同步回收 delete 数据空间 | 开启后,如果主库数据表上做了 shrink space 清理 delete 数据空间的操作, 同步该表后,会实现同样的效果,回收备集群数据空间。 |
| 数据回读校验 | 开启后,会利用 CRC 技术检查每一个 DC 数据在写入磁盘过程中是否发生错误。该参数会降低同步的性能,同时增加备集群的磁盘 IO 消耗;仅推荐在部署初期为了验证同步的正确性时采用。 |
| 备库是否建表 | 指定当主库存在某表,备库不存在该表时是否在备库上自动创建表并进行表同步。 |
| 是否进行表覆盖 | 指定当主库存在某表,备库也存在该表,但主备库表表结构不同(通过 show create table 语句比较)时,是否删除备库上该表,并按照主库表结构重新建表再进行表同步。 |
| 是否删除备库多余表 | 指定当主库不存在某表,但备库存在该表时,是否将备库上的该表自动删除掉。 |
| 是否进行预同步 | 指定是否在实际执行同步任务前进行预同步操作(适合 100+ 节点规模集群,1w+ 表数量以上) |
| 表同步并行度 | 指定同一时间内并行同步表的数量,会影响总体同步时间、集群同步压力(磁盘、网络)、GVR 服务器压力 |
| 是否启用 IP 映射 | 指定是否开启 IP 映射(适用于主备集群数据节点间网络不直接互通,需要进行业务网段映射的情况),开启后需要上传 CSV 格式的映射文件 |
| 同步带宽限速 | 对主备集群间同步主分片时的网络总带宽进行限速,防止影响其它业务。(9.5.3.27.21、9.5.3.28) |
| 是否开启元数据快照 | 开启后支持被同步表的 DML 并发,可明显提升主库有 dml 业务频繁访问下的同步速度。需要集群版本支持(9.5.3.27.21、9.5.2.47、9.5.3.28/29/30) |
| 分区表增量分区同步 | 对于分区表,支持在常见增减分区规则下的分区 DDL 自动变更以实现分区增量同步 |