南大通用(gbase database)可视化集群双活同步工具软件(GBase Visio Rsynctool),是GBASE南大通用自主研发的、专门适用于GBase 8a MPP Cluster的集群间同步工具。
同步期间的业务限制
在主备集群同步过程中,会对正在被同步的表进行上表级锁,进而影响集群的正常业务访问。
在同步过程中,只会对正在被同步的表进行上表级锁,同步完成后即释放锁。例如有 1w 张表需要同步,在某时刻有 10 张表正在被同步,就只会对这 10 张表上锁。
- 主集群上锁情况:
-
- DML 锁,包含执行 E 锁。上锁后 DDL、DML 操作会被堵塞。
- 在 9.5.2.47、9.5.3.27.21、9.5.3.28 及后续版本集群中,支持设置开启元数据快照功能,开启该功能后,在同步期间可进行 DML 业务并发,支持并发的 DML 范围为:INSERT、DELETE、LOAD、开启 fast_update 后的 update。
- 备集群上锁情况:
-
- 上 DML 锁,包含执行 E 锁。上锁后 DDL、DML 操作会被堵塞。
元数据快照优化
- 问题简述:在主备集群同步过程中,会对主集群锁表,进而阻塞主集群执行 DML 操作。在业务场景中要求主备集群在 5 分钟内准实时同步,主集群不影响读写。
- 改善策略:在集群同步过程中对同步表上写锁后,该同步表的元数据打快照,之后释放该表的写锁,若出现 dml 操作可立即完成该表的 DML 操作,上锁时间由原来的分钟级甚至是小时级(由同步数据量决定),缩短至现在的毫秒级。开启优化后,在同步过程中主集群可正常读写。对于当前同步过程中的 DML 改动会放到下一次同步过程中。