GaussDB--Ops巡检-在线会话数量异常处理步骤

108 阅读3分钟

告警解释

=======

DBS运维管理平台提供指标监控能力,监测到当前连接到实例(CN或DN)上的会话数量,包含所有状态的会话(会话状态分类参考pg_stat_activity视图内的state字段)异常,产生此告警。

对系统的影响

  • 如果指标持续上涨,没有平稳和回落的趋势,会有达到最大并发连接数上限的风险,达到上限后,业务新连接连入会报错,新连接无法建连。
  • 如果指标上涨后趋于平稳,需要同时确认是否有“动态内存使用率”异常告警。
    • 如果有,当“动态内存使用率”指标大于等于100%时,业务语句执行会有无法申请内存而报错的可能。
    • 如果没有,查看指标的波动趋势,如果“动态内存使用率”指标低于100%,对业务无影响。

可能原因

  • 业务正常变动,增加并发。
  • 业务连接池配置不合理,导致空闲会话过多。
  • SQL执行时延升高。

处理步骤

  1. 收到告警后,通过查看监控指标查看指标“在线会话数量”,确认此指标波动趋势以及确认触发告警的组件(CN或DN。

  2. 通过查看监控指标查看“动态内存使用率”指标。

    • 如果指标达到100%时,执行3,消除风险;
    • 如果指标没有接近100%,执行4
  3. 参考查杀会话,查杀空闲会话。

  4. 参考登录实例节点,登录告警组件所在节点,执行如下命令,查看实例(CN或DN)上的最大并发连接数。

    show max_connections;
    
    • 如果指标持续上涨,没有平稳和回落的趋势,指标值接近max_connections的值,执行3
    • 如果指标已平稳,或者回落,指标值没有达到max_connections的值,执行步骤5
  5. 通过查看监控指标查看指标“80% SQL的响应时间”、“95% SQL的响应时间”和“用户DML语句数”。

    • 如果“80% SQL的响应时间”、“95% SQL的响应时间”指标没有上涨,或“80% SQL的响应时间”、“95% SQL的响应时间”指标上涨同时“用户DML语句数”也上涨,请联系客户确认是否为业务增加并发,执行6
    • 如果“80% SQL的响应时间”、“95% SQL的响应时间”指标上涨同时“用户DML语句数”无波动或下降,执行步骤7
  6. 通过查看监控指标查看“动态内存使用率”指标。

    • 如果“动态内存使用率”没有异常但此指标接近max_connections,可根据实际情况适当调大max_connections的值,但是要保证“动态内存指标”指标不可超过80%,且调整max_connections参数后需要重启数据库生效,谨慎操作。
    • 如果“动态内存使用率”指标接近或超过阈值,协调客户降低并发,并联系业务分析连接数是否合理,可以考虑调整连接池参数来降低连接数。
  7. 参考ALM-5101180 Ops巡检-80% SQL的响应时间异常告警的处理方法。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。

更多详情请参考GaussDB 文档中心:doc.hcs.huawei.com/db/zh-cn/ga…