梧桐db使用SuperSync进行数据复制场景介绍

土豆是种出来的
82 阅读3分钟

SuperSync工具说明

SuperSync是一款多功能的数据管理和同步工具，适用于多种数据库和操作系统环境。它提供了高效的日志分析、数据复制迁移、数据同步等功能，广泛应用于容灾备份、业务分离、数据异构、数据共享、数据迁移、数据上云、大数据应用等领域。

SuperSync主要功能

  1. 高性能复制：SuperSync支持对多种主流数据库的高效日志分析和数据复制迁移，包括Oracle、Tbase、TDbase、SQLServer、WUTONGDB, VERTICA,Informix、DB2、MySQL、达梦等。它能够实现不中断业务的首次全同步和实时增量同步，确保数据的实时性和一致性。
  2. 数据库管理：SuperSync还提供了一系列数据库管理功能，如数据探测、数据转换、数据脱敏、数据质量实时检测等。这些功能可以帮助用户更好地管理和维护数据库，提高数据质量和安全性。
  3. 数据同步：SuperSync支持跨平台的数据同步，可以将数据从一个系统同步到另一个系统，或者在一个系统内部的不同数据库之间进行数据同步。这有助于实现数据的集中管理和共享，提高数据的利用率。

SuperSync应用场景

  1. 容灾备份：SuperSync可以帮助企业在不同的地理位置建立数据备份站点，实现数据的实时复制和容灾切换，保障业务的连续性和数据的安全性。
  2. 业务分离：在生产系统和查询系统之间建立数据同步，可以提高查询系统的响应速度，降低生产系统的负载，优化业务流程。
  3. 数据迁移：SuperSync可以支持从旧系统到新系统的数据迁移，确保数据在迁移过程中的完整性和一致性，减少数据丢失的风险。
  4. 数据上云：企业可以通过SuperSync将本地数据库的数据迁移到云端，利用云计算的优势进行数据分析和处理，提高数据处理的效率和灵活性。

Vertica数据通过SuperSync复制至梧桐db实践

数据转储过程

1.Vertica卸载文件至物理机 以下为部署程序名称(vertica_s1,vertica_s2,vertica_s3)

1730713865528.png full_where.ini配置文件配置需要卸载数据的表名称 alt text转存失败，建议直接上传图片文件 image.png 2.物理机文件转储至HDFS 物理机文件转储至hdfs

b16e6e68c6cd7f31ba29aa6011a5762.png 3.HDFS文件装载至梧桐DB

1730715610511.png

性能及速率说明

1.通过设置并发数，能有效及时的完成当天数据的同步，用于对比数据质量 2.数据同步通过带宽网速测试平均传输复制时间百万级别数据库10s内

复制主要相关问题

1.因梧桐db采用16进制存储数据，Vertica采用八进制存储文件，在数据复制中出现部分中文乱码的情况，通过设置Vertica文件卸载时读取16进制文件中的中文转为16进制码后在装载至梧桐db的方式予以解决

2.Vertica同步NULL值出来时存在空对象的问题导致数据装载至梧桐db时出现报错，通过设置默认值的方式予以解决

avatar
文章
阅读
粉丝