云数据库 GaussDB库级备份文件恢复失败如何解决?

51 阅读4分钟

告警解释

GaussDB库级备份文件恢复失败,产生此告警。

对系统的影响

实例库级恢复失败,在恢复失败期间目标库不可用。

可能原因
  • 内核恢复本身失败。
  • 下载备份文件失败。
处理步骤
  1. 使用浏览器,通过地址“https://

    ManageOne运维面主页的访问地址

    :31943”,登录ManageOne运维面,或通过地址“https://

    ManageOne主门户的访问地址

    ”,登录ManageOne主门户,选择“运维中心(OC)”,进入ManageOne运维面。

    • 密码方式:输入账号和密码。
      • 默认账号:bss_admin

        对于从8.2.0或更早版本升级上来的ManageOne,默认账号为admin。

      • 默认密码:参见《华为云Stack 8.3.1 账户一览表》的“A类(Portal)”页签中,“ManageOne运维面”账户对应的默认密码。

    • USB Key方式:插入已预置用户证书的USB Key,选择设备和用户证书,并输入PIN码。
  2. 在“告警 > 告警管理 > 当前告警”中查看告警,获取告警中的实例ID或者工作ID。

  3. 单击上方菜单栏的“首页”,返回首页。

  4. 在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”,跳转到ServiceCM插件列表界面。

  5. 在ServiceCM插件列表界面,单击“自助开发平台 > dbs-ops”,进入DBS运维管理平台。

  6. 选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入上一步获取的实例ID或工作ID,执行搜索。

    “失败原因”列输出了失败时的程序错误日志。单击“树表”,则可以查看任务失败具体的环节。

  7. 根据6中失败的任务,找到任务失败的原因和失败的阶段。

    如果任务失败在GaussDbV5ImportDbStatusCheckTask,表明执行库级恢复操作时失败,参考修改Workflow的Job Context,通过失败Task所在Job找到nodeId。

  8. 在“实例管理”的“实例列表”页签的高级搜索中,通过实例ID搜索到该实例,单击实例名称,进入“GaussDB基本信息”页面。

  9. 根据7获得的nodeId,在“节点列表模块中找到对应节点”,复制节点名称。

    参考收集日志,下载此节点Kernel组件下的/var/lib/log/Ruby日志,并在roach目录下查看报错信息。

    • 如果报错信息中包含“Backup key

      does not exist in media-destination

      , could have been deleted.”

      原因:用户删除了依赖增量备份的全量备份,然后尝试恢复备份并进行验证。

      **解决方案:**确保所有增量备份依赖的全量备份未被删除。

    • Current database version is not the same as previous backup, operation is not allowed!

      原因:不允许跨版本恢复。

      **解决方案:**使用数据库版本号与当前集群相同的备份集并重试。

    • 查看日志中/roach/agent/目录下的roach-agent日志,如果报错信息包含“Write data to OBS file *** failed”,说明写入备份文件到OBS失败,请联系底层人员检查OBS是否故障。

    如果不属于以上报错,则查看/roach/controller/目录下的roach-controller日志,找到对应库级恢复时刻点左右的日志,查找报错信息,关键词ERROR。如果从controller日志的报错信息中无法明确问题原因,请执行10

  10. 参考下载管理节点日志收集日志,并收集告警信息,联系技术支持进行处理。

需要下载的日志信息有:
管理侧:

*   DBS-GaussDB-backupmanager组件下的日志。
*   DBS-GaussDB-instancemanager组件下的日志。

租户侧:

Agent组件下的:

*   /home/Ruby/log/agent.log
*   /home/Ruby/log/asyncJobResult.dat

GaussDB Kernel组件下的:/var/lib/log/Ruby
告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。

更多详情请参考GaussDB 文档中心:doc.hcs.huawei.com/db/zh-cn/ga…