告警解释
=======
GaussDB自动差量备份失败，产生此告警。
对系统的影响
对实例业务无影响；差量备份失败会导致后续无法用该备份执行恢复。
可能原因
- 实例状态为故障。
- OBS连接异常。
处理步骤
-
参考查看实例操作失败任务，找到任务失败的原因和失败的阶段。
- 如果实例状态为正常，实例存在异常节点，参考《华为云Stack 8.3.1 应急预案》中的“数据库服务 > 云数据库 GaussDB > 运维案例库 > 租户面应急案例”选择“节点修复”或“节点替换”进行修复，解决节点异常问题。
- 如果任务失败在ExportDbStatusCheckTask任务，表明备份或者上传失败，执行2。
- 如果以上情况都不符，请执行6。
-
参考修改Workflow的Job Context，通过失败Task所在Job找到requestId。
-
根据2得到的requestId，nodeId，参考收集日志下载日志，在日志中查找错误原因。
需要下载的日志如下：
Agent组件下的：/home/Ruby/log/agent.log
如图所示，check_prev_roach_action时失败，说明是内核备份失败。
-
执行如下指令，查看roach日志。
vim $GAUSSLOG/roach/controller/roach-controller***.log
***请替换为实际日期
说明传文件到OBS桶时异常，需要检查OBS桶。
-
检查实例与OBS桶网络连通性。
具体请参考检查实例到OBS网络是否连通，如果是网络不通，请联系网络人员修复OBS网络。
修复后，在修改Workflow的Job Context修改JobContext（exportRequestId，checkExportStatusRequestId）为随机UUID（如：6c55dc44-402b-40b7-9ca2-84ca86746a2a）后在重做Task从“RdsExportDbInitTask”重做即可。
-
检查是否OBS异常。
联系底层人员确定是否OBS满或者OBS故障，修复OBS桶后，在修改Workflow的Job Context修改JobContext（exportRequestId，checkExportStatusRequestId）为随机UUID（如：6c55dc44-402b-40b7-9ca2-84ca86746a2a）后在重做Task从“RdsExportDbInitTask”重做即可。
-
如果从controller日志的报错信息中无法明确问题原因，则打开$GAUSSLOG/roach/agent_inc/目录下的roach-agent日志，找到对应备份时刻点左右的日志，查找报错信息，关键词ERROR。可以在该ERROR日志前后直接找到问题原因。
例如：如果报错信息中包含“Gauss query execution failed；”则说明是数据库进程重启导致备份失败，请检查数据库对应进程是否正常，节点是否正常。
如果仍然失败，请执行6。
-
-
参考下载管理节点日志和收集日志，并收集告警信息，联系技术支持进行处理。
需要下载的日志信息有：
管理侧：
- DBS-GaussDB-backupmanager组件下的日志。
- DBS-GaussDB-instancemanager组件下的日志。
租户侧：
Agent组件下的：
- /home/Ruby/log/agent.log
- /home/Ruby/log/asyncJobResult.dat
GaussDB Kernel组件下的：/var/lib/log/Ruby
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
不涉及。
更多详情请参考GaussDB 文档中心：doc.hcs.huawei.com/db/zh-cn/ga…
