质量告警的闭环

0 阅读4分钟

质量告警的闭环:认领、处理、复盘,一个都不能少

封面

先说一种常见的情况。

群里有一条告警:“某张核心表今天的行数比昨天少了三成。”

三分钟后,有人回了一个表示“看到了”的表情。半小时后,又有人回了一个。

到了下午,这条告警被新的消息淹没了,没有人认领,没有人处理,也没有人关闭。

第二天,同样的告警又来了一遍。

告警发出来不是终点,只是开头。一篇聊规则怎么设计时说过:没有认领的告警等于没发。这篇接着往下问三个问题:谁来认领?处理到什么程度算完?什么时候复盘?

告警 → 认领 → 判断根因 → 处理 → 复盘

闭环五步

▲ 五步走完,一条告警才算关闭

谁来认领?

先说最容易被跳过的一步。

告警本身要讲清楚四件事:哪张表、哪条规则、实际值是多少、期望值是多少——不要让认领的人再去翻。

然后是认领:当天认领,最迟 24 小时内,必须有人说“我来”。 认领的意思是:这是我的事了。群里回一个表情,不算认领——只发告警、不要求认领,表情会越回越多,事还是没人管。认领要写明两样:谁,预计什么时候给结论。

根因是哪一类?

认领之后不要立刻动手改,先判断根因。这是整个闭环里最有价值的一步。异常的原因,通常只有三类:

根因类型含义处理方向
数据源问题上游没给全,或者给错了协调源端,源端修复
计算逻辑问题自己的加工有 bug修代码,重跑
真实的业务变化数据没错,业务本来就变了通知业务确认,调整阈值或基准

判断不对,处理就会错:把“业务真的变了”当成“数据坏了”,去重跑数据,只是白忙。不区分根因类型来回折腾,是处理最常见的弯路。

根因三类

▲ 先归类,再动手:三类根因,三个方向

处理到什么程度算完?

有时限,有结论。处理完要明确写三样:是什么原因、做了什么、数据是否已恢复。

涉及业务口径判断的,转给业务口径负责人决定,不由数据工程师自己拍板。

什么时候复盘?

处理完、数据恢复了,闭环还差最后一步:让它不再发生。

  • 重要、反复出现的问题,补成一条新的监控规则;
  • 源端的问题,协调源端,从源头解决;
  • 开发、上线流程引起的问题,改流程。

处理完不复盘,同样的问题下个月再来一遍,前面的认领和处理就白做了。

怎么让它不靠人记得?

三问答完,还有一个更根本的问题:靠人记得去看,迟早会漏。两个机制。

每月给告警系统自己做个体检,看四个数:

指标说明看什么
告警总数一个月发了多少条突然变多或变少都要查
认领时长从发出到有人认领越来越长说明在被忽略
关闭率最终处理完的比例长期不关闭的是死告警
重复率同一条规则反复触发高的要么改阈值,要么下线

天天报的规则,是在消耗大家对告警的信任。 每个月把重复率最高的几条拉出来:要么阈值设得不合理,改;要么这条规则已经没用,下线。

设计上,还要让它自动运转:

  • 每天定时触发,拉取昨天的数据,执行检测;
  • 全部正常,记录日志;有异常,自动告警给负责人;
  • 超阈值且可能影响下游模型的,自动触发变更与血缘的核查流程。

这套每日自动检测,在我们这里是计划中的能力,目前还在设计和建设阶段。全靠人工盯的告警,一旦忙起来,第一个被放弃的就是它——所以认领的规矩、每月的体检,要先把这两样立起来。

回到开头那条被新消息淹没的告警:它缺的不是一条新规则,而是三个答案——谁来认领、处理到什么程度算完、什么时候复盘。三问有答案,一个“看到了”才会变成“我来”。