质量告警的闭环:认领、处理、复盘,一个都不能少
先说一种常见的情况。
群里有一条告警:“某张核心表今天的行数比昨天少了三成。”
三分钟后,有人回了一个表示“看到了”的表情。半小时后,又有人回了一个。
到了下午,这条告警被新的消息淹没了,没有人认领,没有人处理,也没有人关闭。
第二天,同样的告警又来了一遍。
告警发出来不是终点,只是开头。一篇聊规则怎么设计时说过:没有认领的告警等于没发。这篇接着往下问三个问题:谁来认领?处理到什么程度算完?什么时候复盘?
告警 → 认领 → 判断根因 → 处理 → 复盘
▲ 五步走完,一条告警才算关闭
谁来认领?
先说最容易被跳过的一步。
告警本身要讲清楚四件事:哪张表、哪条规则、实际值是多少、期望值是多少——不要让认领的人再去翻。
然后是认领:当天认领,最迟 24 小时内,必须有人说“我来”。 认领的意思是:这是我的事了。群里回一个表情,不算认领——只发告警、不要求认领,表情会越回越多,事还是没人管。认领要写明两样:谁,预计什么时候给结论。
根因是哪一类?
认领之后不要立刻动手改,先判断根因。这是整个闭环里最有价值的一步。异常的原因,通常只有三类:
| 根因类型 | 含义 | 处理方向 |
|---|---|---|
| 数据源问题 | 上游没给全,或者给错了 | 协调源端,源端修复 |
| 计算逻辑问题 | 自己的加工有 bug | 修代码,重跑 |
| 真实的业务变化 | 数据没错,业务本来就变了 | 通知业务确认,调整阈值或基准 |
判断不对,处理就会错:把“业务真的变了”当成“数据坏了”,去重跑数据,只是白忙。不区分根因类型来回折腾,是处理最常见的弯路。
▲ 先归类,再动手:三类根因,三个方向
处理到什么程度算完?
有时限,有结论。处理完要明确写三样:是什么原因、做了什么、数据是否已恢复。
涉及业务口径判断的,转给业务口径负责人决定,不由数据工程师自己拍板。
什么时候复盘?
处理完、数据恢复了,闭环还差最后一步:让它不再发生。
- 重要、反复出现的问题,补成一条新的监控规则;
- 源端的问题,协调源端,从源头解决;
- 开发、上线流程引起的问题,改流程。
处理完不复盘,同样的问题下个月再来一遍,前面的认领和处理就白做了。
怎么让它不靠人记得?
三问答完,还有一个更根本的问题:靠人记得去看,迟早会漏。两个机制。
每月给告警系统自己做个体检,看四个数:
| 指标 | 说明 | 看什么 |
|---|---|---|
| 告警总数 | 一个月发了多少条 | 突然变多或变少都要查 |
| 认领时长 | 从发出到有人认领 | 越来越长说明在被忽略 |
| 关闭率 | 最终处理完的比例 | 长期不关闭的是死告警 |
| 重复率 | 同一条规则反复触发 | 高的要么改阈值,要么下线 |
天天报的规则,是在消耗大家对告警的信任。 每个月把重复率最高的几条拉出来:要么阈值设得不合理,改;要么这条规则已经没用,下线。
设计上,还要让它自动运转:
- 每天定时触发,拉取昨天的数据,执行检测;
- 全部正常,记录日志;有异常,自动告警给负责人;
- 超阈值且可能影响下游模型的,自动触发变更与血缘的核查流程。
这套每日自动检测,在我们这里是计划中的能力,目前还在设计和建设阶段。全靠人工盯的告警,一旦忙起来,第一个被放弃的就是它——所以认领的规矩、每月的体检,要先把这两样立起来。
回到开头那条被新消息淹没的告警:它缺的不是一条新规则,而是三个答案——谁来认领、处理到什么程度算完、什么时候复盘。三问有答案,一个“看到了”才会变成“我来”。