云数据库 GaussDB创建实例业务失败

126 阅读4分钟

对系统的影响

无法完成实例创建操作。

可能原因

  • 创建服务器Job运行失败,资源管理或IAAS报错。

  • 服务器上初始化实例报错,向Agent传参不合法,网络错误及Agent本身报错。

  • 上报审计失败导致实例创建失败。

处理步骤

  1. 使用浏览器,通过地址“https://

    ManageOne运维面主页的访问地址

    :31943”,登录ManageOne运维面,或通过地址“https://

    ManageOne主门户的访问地址

    ”,登录ManageOne主门户,选择“运维中心(OC)”,进入ManageOne运维面。

    • 密码方式:输入账号和密码。
      • 默认账号:bss_admin

        对于从8.2.0或更早版本升级上来的ManageOne,默认账号为admin。

      • 默认密码:参见《华为云Stack 8.3.1 账户一览表》的“A类(Portal)”页签中,“ManageOne运维面”账户对应的默认密码。

    • USB Key方式:插入已预置用户证书的USB Key,选择设备和用户证书,并输入PIN码。
  2. 参考查看告警 ,获取定位信息中的实例ID(instance_id)或者工作ID。

  3. 单击上方菜单栏的“首页”,返回首页。

  4. 在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”,跳转到ServiceCM插件列表界面。

  5. 在ServiceCM插件列表界面,单击“自助开发平台 > dbs-ops”,进入DBS运维管理平台。

  6. 选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入上一步获取的实例ID或工作ID,执行搜索。

    “失败原因”列输出了失败时的程序错误日志。单击“树表”,则可以查看任务失败具体的环节。

  7. 根据6中任务执行结果,定位不同的故障场景操作。

    • 场景一:创建服务器失败(CreateServersTaskV2执行失败),根据6中展示的失败概览,分析失败原因。

      • 如果6的失败原因中包含“image not exists”则说明创建服务器所需镜像在环境中不存在。

        修复方案:参考查看镜像ID查看创建实例所选引擎版本对应的镜像ID,并根据镜像ID联系底层人员查看镜像是否存在且正确注册。

    • 场景二:创建服务器失败(WaitCreateServersTask执行失败),根据6中展示的失败概览,分析失败原因。

      • 如果6的失败原因中包含“not enough hosts”,则说明服务器资源不足。

        修复方案:联系IaaS对计算资源扩容,然后重新创建实例。

      • 如果6的失败原因中包含“PlacementDiskFilter”,说明没有满足的磁盘资源。

        修复方案:联系IaaS对磁盘进行扩容,然后重新创建实例。

      • 如果6的失败原因中包含“ip address not enough”,则说明IP资源不足。

        修复方案:在虚拟私有云服务页面下参考释放空闲IP,释放实例所在子网下的空闲IP,或者选择IP充足的子网重新创建实例。

    • 场景三:Agent执行失败(SendInitAgentCmdTask或下一个任务 WaitAgentInitResulTask执行失败),根据6中展示的失败概览,分析失败原因。

      如果6的失败原因中包含“RPCClient.RPCClientBuilder failed”或“Agent may not be ready to connect”,则可能是网络不通。

      修复方案:联系运维排查网络故障原因,确认网络恢复正常后,重新创建实例。

    • 场景四:报送审计服务失败(NotifyToCTSTask失败)。

      报送审计失败,对实例无影响,但是需要检查审计服务是否正常。

      修复方案:在“树表”页面,单击NotifyToCTSTask的下拉按钮,选择跳过任务,跳过NotifyToCTSTask,等待任务执行成功。审计是对事件进行记录,跳过审计步骤对实例无影响,跳过后需要对审计服务进行检查。

      如果失败原因不在上述场景,请执行8

    • 场景五:如果创建实例失败需要重做工作流,则需要登录core库,通过执行SQL更改实例状态为创建中(建议告警处理完成后重新创建实例)。

      UPDATE core.DBS_INSTANCE SET STATUS = 'creating' WHERE ID = '';
      UPDATE core.DBS_GROUP SET STATUS = 'creating' WHERE id in (select entity_id from core.dbs_parentship where entity_type_tag = 'gr' and INSTANCE_ID = '');
      UPDATE core.DBS_NODE SET STATUS = 'creating' WHERE id in (select entity_id from core.dbs_parentship where entity_type_tag = 'no' and INSTANCE_ID = '');
      
  8. 参考下载管理节点日志,并收集告警信息,联系技术支持进行处理。

    需要下载的日志信息有:

    管理侧:

    • DBS-GaussDB-backupmanager组件下的日志。
    • DBS-GaussDB-instancemanager组件下的日志。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。