云数据库 GaussDB水平扩容集群失败如何解决？

对系统的影响

• 如创资源失败，对用户实例不影响，只是有Action锁未释放，其他针对实例的大部分操作无法进行。
• 如任务流进行到了扩容任务：ExpandInstallGaussDBV5Job失败，则有可能已对用户业务产生影响。

可能原因

• 资源不足：创建服务器JOB运行失败，资源管理或IAAS报错。

• 服务器上初始化实例报错，网络错误及Agent本身报错，内核扩容报错。

处理步骤

1. 使用浏览器，通过地址“https://

   ManageOne运维面主页的访问地址

   :31943”，登录ManageOne运维面，或通过地址“https://

   ManageOne主门户的访问地址

   ”，登录ManageOne主门户，选择“运维中心（OC）”，进入ManageOne运维面。

   • 密码方式：输入账号和密码。

     • 默认账号：bss_admin

       

       对于从8.2.0或更早版本升级上来的ManageOne，默认账号为admin。

     • 默认密码：参见《华为云Stack 8.3.1 账户一览表》的“A类（Portal）”页签中，“ManageOne运维面”账户对应的默认密码。

   • USB Key方式：插入已预置用户证书的USB Key，选择设备和用户证书，并输入PIN码。

2. 在“告警 > 告警管理 > 当前告警”中查看告警，获取告警中的实例ID或者工作ID。

3. 单击上方菜单栏的“首页”，返回首页。

4. 在ManageOne运维面右下角“常用链接”栏中单击“ServiceCM”，跳转到ServiceCM插件列表界面。

5. 在ServiceCM插件列表界面，单击“自助开发平台 > dbs-ops”，进入DBS运维管理平台。

6. 选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入上一步获取的实例ID或工作ID，执行搜索。

   

   “失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。

   

7. 根据6中任务执行结果，定位不同的故障场景操作。

   • 场景一：创建服务器失败（CreateServersTaskV2执行失败），根据6中展示的失败概览，分析失败原因。

     • 如果6的失败原因中包含“image not exists”则说明创建服务器所需镜像在环境中不存在。

       修复方案：需要登录DBS运维管理平台，在“实例运维”>“配置管理”>“引擎资源管理”页面中查看服务器镜像ID和ARM镜像ID，并根据镜像ID联系底层人员查看镜像是否存在且正确注册。

     • 如失败原因是资源不足导致的，且用户想要回退此扩容失败操作，请按照以下操作清理资源。

       • 登录DBS运维管理平台。
       • 在“实例管理”的“实例列表”页签查找实例，单击”实例名称”进入实例的基本信息页面。
       • 单击“扩容失败资源清理操作”。

   • 场景二：创建服务器失败（WaitCreateServersTask执行失败），根据6中展示的失败概览，分析失败原因。

     • 如果6的失败原因中包含“not enough hosts”，则说明服务器资源不足。

       修复方案：联系IaaS对计算资源扩容，然后单击“CreateServersTask”Task右侧向下箭头，选择重做，重做操作。

     • 如果6的失败原因中包含“PlacementDiskFilter”，说明没有满足的磁盘资源。

       修复方案：联系IaaS对磁盘资源扩容，然后单击“CreateServersTask”Task右侧向下箭头，选择重做，重做操作。

     • 如果6的失败原因中包含“ip address not enough”，则说明IP资源不足。

       修复方案：释放空闲IP，单击“CreateServersTask”Task右侧向下箭头，选择重做，重做操作。

   • 场景三：Agent执行前置操作失败（SendInitAgentCmdTask或下一个任务 WaitAgentInitResultTask执行失败），根据6中展示的失败概览，分析失败原因。

     如果6的失败原因中包含“RPCClient.RPCClientBuilder failed”或“Agent may not be ready to connect”，则可能是网络不通。

     修复方案：联系运维排查网络故障原因，然后单击“SendInitAgentCmdTask”Task右侧向下箭头，选择重做，重做操作。

     如失败原因不在以上场景，请执行8。

   • 场景四：Agent执行扩容操作失败（ WaitAgentExpandInstallTask执行失败），根据6中展示的失败概览，分析失败原因。

     如果6的失败原因中包含“transport endpoint is not connected”，直接单击“ExpandInstallGaussDBV5Task右侧向下箭头，选择重做，重做操作。

8. 参考下载管理节点日志和收集日志，并收集告警信息，联系技术支持进行处理。

   需要下载的日志信息有：

   管理侧：

   • DBS-GaussDB-backupmanager组件下的日志。
   • DBS-GaussDB-instancemanager组件下的日志。

   租户侧：

   Agent组件下的：

   • /home/Ruby/log/agent.log
   • /home/Ruby/log/asyncJobResult.dat

   GaussDB Kernel组件下的：/var/lib/log/Ruby

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。