GBASE南大通用技术分享:GBase数据库迁移至信创操作系统改造案例

128 阅读2分钟

1、 改造目的 

为响应国家信创改造,现从centos旧操作系统中将南大通用GBase数据库迁移至新的信创环境下,实现系统从旧平台到信创平台的完整转移,并确保数据一致性、应用功能和用户体验不发生较大变化。

2、集群介绍

假设现有集群共6个节点,其中管理节点3个(与数据节点复用),计算节点6个,如下:

image.png

3、信创迁移方案

根据现状,力求尽可能降低对现有业务的影响,方案如下: 

1)信创环境部署一套集群:架构与原集群一致,包含数仓及应用两个VC。注意字符串、集群参数设置与原集群一致。

2)配置rsynctool进行同步。采用同步工具在不停业务的情况下将数据从原集群多次迭代同步至信创环境。 

原环境:RHEL7 + v952.39 

新环境:kylin v10 + v953.27 Rsynctool同步脚本如下: 

$nohup /gbase/gcluster_rsynctool/gcluster_rsynctool.py --master_mpp_ip_mapping_file=/gbase/gcuster_rsynctool/master_mapping --slave_mpp_ip=新库ip --table_list_file=/gbase/list1.txt --database_user=gbase --master_mpp_gc_pw=老库密码 --slave_mpp_gc_pw=新库密码 --slave_create_table_if_not_exists --master_mpp_ip=老库ip >> gbase.log 2>&1 & 

(*备注: 

1.默认第一次跑的时候是全量数据,后面多次跑的时候为增量数据。

2.--table_list_file=TABLE_LIST_FILE含义:用于被同步表的配置文件 参数类型:必选参数 注意事项和使用限制:文件名,该文件内容为需要同步的表列表,可以只有一张表。文件内容格式为 DBName.TBName,用换行符进行分割,支持 windows 换行符和linux换行符,但必须统一,即文件内只能出现一种换行符,该文件可以通过gbase.table_distribution查到相关表信息。

3.建议对table_list_file文件做拆分,拆成多个文件,循环跑(一个文件过多表容易报错)。

4.可以写个定时任务crontab -e,定期一天跑一次该脚本)

3)停止业务,做最后一次增量同步,当数据完全同步后,可以对数据库版本进行升级。

4)升级新集群版本, 

./gcinstall.py --silent=demo.options -U 

5)修改IP地址,将信创环境IP地址改为原IP地址。修改后原来应用端不需要进行任何的变动调整。 

6)启动业务,检查业务运行状况,对比新旧集群的性能;处理问题,性能优化。