云数据库 GaussDB Dorado容灾主集群数据同步失败解决方法

65 阅读4分钟

告警解释

=======

云数据库 GaussDB Dorado容灾主集群同步数据到灾备集群失败产生告警。

对系统的影响

主集群开启数据同步失败,而无法搭建容灾关系,容灾功能不可用。

可能原因

  • 网络配置错误。
  • 主集群异常。
  • Dorado异常。

处理步骤

  1. 使用浏览器,通过地址“https://

    ManageOne运维面主页的访问地址

    :31943”,登录ManageOne运维面,或通过地址“https://

    ManageOne主门户的访问地址

    ”,登录ManageOne主门户,选择“运维中心(OC)”,进入ManageOne运维面。

    • 密码方式:输入账号和密码。
      • 默认账号:bss_admin

        对于从8.2.0或更早版本升级上来的ManageOne,默认账号为admin。

      • 默认密码:参见《华为云Stack 8.3.1 账户一览表》的“A类(Portal)”页签中,“ManageOne运维面”账户对应的默认密码。

    • USB Key方式:插入已预置用户证书的USB Key,选择设备和用户证书,并输入PIN码。
  2. 在“告警 > 告警管理 > 当前告警”中查看告警信息,获取告警中的实例ID或者工作ID。

  3. 单击上方菜单栏的“首页”,返回首页。

  4. 在ManageOne运维面页面的“常用链接”栏中单击“ServiceCM”,跳转到ServiceCM插件列表界面。

  5. 在ServiceCM插件列表界面,单击“自助开发平台 > dbs-ops”,进入“DBS运维管理平台”。

  6. 选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入告警定位信息中的实例ID或工作ID,执行搜索。

    “失败原因”列输出了失败时的程序错误日志。单击“树表”,则可以查看任务失败具体的环节。

  7. 根据步骤6中失败的task,进行不同的操作。

    • 场景一:“WaitDoradoCreateConsistentGroupTask” 任务失败,通过获取子任务流ID,进到资源管理ResourceManager 查看日志。

      因Dorado创建一致性组需两个Region内同步,可能因任意一个Region的Dorado故障,导致创建一致性组失败。

      解决方案:

      检查灾备实例一端的搭建灾备任务流程是否正常。

      如果灾备一侧的“UnMountDoradoSharedDiskJob”流程未完成,需检查灾备一端Dorado的问题。

      待灾备一端Dorado问题解决后,先在灾备实例一端失败任务流重试后,在对主实例一端的任务流“WaitDoradoCreateConsistentGroupTask”作重试。

    • 场景二:“WaitConfigNetwork4DisasterRecoveryTask”任务失败。说明当前主实例连接访问对端实例的数据面不通,需要检查主实例与灾备实例面的网络连通性。

      1. 参考5登录DBS运维管理平台,单击目标实例名称,进入节点管理页面,获取主实例和对端灾备实例的每个节点的数据IP。

      2. 登录主实例节点。

      3. 执行如下指令,检查网络连通性,如下是不通的表现。

        ping

        <灾备实例数据网络节点的ip

        >

        以上如报错,请联系环境管理员检查网络配置。

      解决方案:

      待网络解决后,在失败节点上对前一个“ConfigNetwork4DoradoDisasterRecoveryTask”重试。

    • 场景三:“WaitBuildDisasterOnDoradoTask”任务失败。说明当前主实例异常导致容灾搭建失败,需要检查如下内容。

      1. 执行如下指令,检查主集群状态。

        cm_ctl queryCvid

        如果主集群状态异常,根据异常组件类型,参考本手册进行修复。

      2. 待主集群修复完成后,在“BuildDisasterOnDoradoTask”进行重试。

        如果重做仍然失败,执行9

  8. 如果当前使用跨云容灾的方式,容灾任务流全部解决完后需处理跨云的任务流,详细内容请参考修复任务下发端主容灾任务

  9. 下载节点日志,并收集告警信息、日志信息和配置信息,联系技术支持进行处理。

    需要下载的日志信息有:

    管理侧:

    DBS-GaussDB-instancemanager组件下的日志。

    租户侧:

    agent组件下的:

    • /home/Ruby/log/agent.log
    • /home/Ruby/log/asyncJobResult.dat

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。

更多详情请参考GaussDB 文档中心:doc.hcs.huawei.com/db/zh-cn/ga…