花椒技术真实落地:业务反馈自动化排查 Agent 完整实践

27 阅读11分钟

本文来自花椒技术部真实工程实践。如果你也在关注 AI 工程化、企业 Agent、MCP、Skill 或研发工具链,文末有「花椒技术交流群」入口,欢迎一起交流。

做研发这些年,最熟悉的一句话大概是:

“帮忙看一下这个问题。”

用户反馈来了,@ 一下研发。

数据看着不对,@ 一下研发。

日志里好像有异常,@ 一下研发。

业务同学不是故意打扰你,大多数时候问题确实需要研发介入。只有研发知道代码逻辑在哪、日志该怎么看、数据状态怎么核对、结论怎么才站得住。

但当这种“被叫住”变成日常,消耗的就不只是排查那几分钟,而是每次都要从手头的事里被拽出来,重新进入状态。

真正磨人的,往往不是最后那个判断,而是判断之前必须走一遍的动作:

  • 读反馈;
  • 判断问题类型;
  • 翻代码;
  • 查日志;
  • 核数据库;
  • 最后把结论讲清楚。

也就是说,要说清楚原因是什么、依据是什么、下一步怎么办。

有时候问题并不复杂,但这一轮证据收集,谁也省不掉。

最近,团队里一位服务端同事基于 Agent 工具自己搭了个东西,专门用来接手这类重复排查,取名“小胜”。

以前是别人 @ 他:

“看一下这个问题。”

现在,他先 @ 小胜。

01 小胜不是“给建议”,是“去查”

很多 AI 工具很擅长给建议。

你问它一个线上问题该怎么排查,它大概率会告诉你:

  • 先看日志;
  • 再查数据;
  • 再对照代码逻辑;
  • 最后确认业务状态。

这些建议没错,但对每天都在处理反馈的研发来说,价值有限。

因为需要的不是“你告诉我该查什么”,而是:

“你能不能先帮我把能查的都查出来?”

小胜的不同之处就在这里。

它不只停在建议层,而是真的按链路往下走:

  1. 先看代码逻辑;
  2. 再查日志;
  3. 再查数据库做交叉验证;
  4. 最后输出结论和依据。

小胜排查链路

02 实际排查案例

案例一:关系解除申请,为什么“看起来”没生效

有用户反馈:申请解除兄弟关系已经三天了,怎么还没解除。

小胜没有直接下结论,而是分两步查:

  1. 先查当前关系表,确认这对关系是否还存在;
  2. 再查解除记录表,看有没有对应的解除申请和处理日志。

查完发现:这对关系当前确实已经查不到了,说明关系已经解除。

日志显示,真正的解除申请是当天下午发起的,主播在同一分钟内就同意了。

往前翻还能看到,此前主播其实发起过一次解除,但几十分钟后又自己撤销了。这大概率是用户记错了时间,把最早那次撤销的申请当成了“一直没处理”的申请。

小胜给出的结论很明确:

解除已经成功,不是系统超时未处理。

同时,它附带了完整的时间线和记录作为依据。

关系解除申请排查

案例二:一直在续关系送礼,为什么还会衰减

另一类高频反馈是:

用户觉得自己一直在按规则维护关系,比如续期、送礼,但关系分数却衰减了,觉得系统“不讲道理”。

小胜按已经沉淀好的衰减排查 SOP 走:

  1. 先确认衰减发生的具体时间和分数;
  2. 再回溯衰减发生前一天的双向送礼记录;
  3. 同时排除掉不计入规则的开放平台礼物;
  4. 最后和衰减的阈值做比对。

这个案例查出来的结论是:

衰减前一天,这对关系的双向送礼分数确实是 0,没有达到免于衰减的最低分数线,所以触发衰减是符合规则的,不是系统误判。

关系分数衰减排查

案例三:一个从没见过的新问题,它也查出来了

前两个案例都有现成的 SOP 可以照着走。

但下面这个不一样。

有用户反馈:连续赠送了 3 张“组建 3 天关系”的道具卡,按理关系时长应该累计到 9 天,但实际只有 3 天。

这个问题以前没遇到过,不属于已有 SOP 里按固定流程扫一遍就能解决的类型。

正常人工排查,研发至少要走几步:

  1. 确认用户是不是真的连续送出了 3 张;
  2. 确认 3 张卡是不是都成功生效;
  3. 看代码里关系时长到底是累加、覆盖,还是取最后一次状态;
  4. 查日志确认三次赠送有没有分别触发处理逻辑;
  5. 最后核对当前状态,确认线上确实只落了 3 天。

单看每一步都不难,但串起来很碎,一旦被打断很容易漏掉某一环。

小胜的处理方式,是自己去读代码逻辑。

这里不是让模型猜业务规则,而是看实际实现:

  • 道具卡使用后走哪条处理链路;
  • 关系时长在哪个位置更新;
  • 多次使用时应该累加,还是可能被覆盖。

接着查日志。

这一步能把问题从多个猜测方向里收窄:

  • 如果只看到一次赠送记录,问题可能出在业务反馈本身;
  • 如果三次赠送都有记录,但后续只触发了一次处理,问题可能在异步处理环节;
  • 如果三次都触发了,但最终状态只有 3 天,那就要继续往关系时长的更新逻辑里查。

最后查到的结论很具体:

用户确实连续提交了 3 张卡,系统也确实生成了 3 条对应的申请记录,但同类申请当前只会保留最先生效的那一条,其余两条会被自动判定为作废,所以最终只按 1 次 3 天生效,没有做累加。

这不是数据丢失,也不是系统故障,而是当前业务逻辑本来就没有支持“多张卡时长叠加”这个预期。

这个案例的意义不在于“又解决了一个 bug”,而在于它说明小胜不是一个只会套用固定流程的脚本。

遇到没见过的问题,它也能沿着代码、日志、数据这条链路,用排除法自己摸出一条路径,给出一个有代码依据、有数据支撑、可以直接拿去用的根因结论。

这也是让同事觉得这东西“真的有点东西”的地方。

新问题排查过程

03 为什么不是写个脚本

看到这里可能会有个自然的疑问:

这不就是写了个复杂点的脚本吗?

一部分排查确实可以脚本化。

查某类日志、拉某个状态、核对某条记录,写死流程就能跑。

但业务反馈排查经常不是一个固定动作,而是一串判断:

  • 用户描述的问题可能不完整;
  • 业务现象可能不准确;
  • 同一个表面现象背后,也可能对应完全不同的原因路径;
  • 就像案例三里那样,得靠层层排除才能收窄到真正的根因。

脚本适合执行单点动作,小胜要做的是第一轮组织:

  1. 先判断这是什么问题;
  2. 再决定该查什么证据;
  3. 最后把证据整理成人能继续接手的结论。

这也是为什么它的输出不能只是一句“可能原因是……”,而要落到这个格式:

结论是什么;
依据是什么;
当前到哪一步;
下一步怎么办。

这样业务同学知道现在查到哪了,研发同学也知道下一步该从哪接手。

04 支撑它跑起来的,是 SOP + Skill,不是一句厉害的 Prompt

早期做 AI 应用,很多人会把力气花在 Prompt 上:角色怎么定义、约束怎么加、格式怎么要求。

这些当然重要。

但小胜这个实践让人更清楚地看到一件事:

这类排查类 Agent 能不能稳定干活,关键不在 Prompt 写得多巧妙,而在于流程有没有被工程化地组织起来。

比如案例一和案例二能这么快查出结论,靠的不是小胜临场发挥,而是提前沉淀好的排查 SOP 文档。

遇到“关系解绑反馈”这类问题,第一步查什么、第二步查什么、什么状态代表什么结论,都写在文档里。小胜进来先读这份文档,再照着往下执行。

SOP 与 Skill 支撑 Agent 排查

具体拆开看,小胜依赖两层东西:

  • SOP 决定“怎么查”:某类反馈需要哪些输入信息,第一步看什么、第二步查什么,什么状态代表流程已完成、什么状态代表还在进行中、什么情况必须转人工,这些都提前沉淀好,而不是让模型每次现场猜。
  • Skill 决定“怎么调用工具”:查代码从哪里入手、查日志用什么关键词、查询失败了怎么反馈、输出结果里哪些字段不能对外展示,这些也不靠模型临场发挥。

SOP 定路线,Skill 给工具,Agent 把两者串起来执行到底。

而案例三这种从没见过的新问题,没有 SOP 可以照抄,靠的就是 Skill 层面沉淀的工具调用能力。

它知道怎么查代码、怎么查数据库、怎么查日志。即使没有现成路线图,也能自己拼出一条排查路径。

这条思路,其实和我们 6 月 10 日那篇《把 SOP 变成 Agent 能用的 Skill,这是我们一直在干的事》里讲的公司整体方向是一致的。

只是这次落在了一个人的日常工作里,规模很小,但完整跑通了。

05 结论要有依据,不能只是“说得像”

业务排查不是聊天,最后要被相信的是结论,不是表达。

所以小胜的输出会尽量做成结构化的:

  • 结论是什么;
  • 依据是什么;
  • 依据来自代码、日志还是数据库;
  • 当前处于哪个阶段;
  • 下一步该怎么处理。

三个案例的结论都附带了具体依据:时间线、状态字段、代码逻辑,而不是一句“应该是这样”。

没有依据的结论只是建议,有依据的结论才有机会真正进入协作流程。

如果信息不够,它不会编一个结论。

如果证据冲突,也不会强行下判断。

这种“知道自己边界在哪”,恰恰是这类工具能被放心使用的前提。

06 写在最后

回头看这件事,比“小胜解决了几个问题”更值得记录的,是这个思路本身:

AI 最先适合接手的,不一定是最复杂、最有技术含量的任务,反而是那些每天都在发生、步骤重复、又必须认真做完的琐碎链路。

比如业务反馈排查。

这不是要用 AI 替代研发,而是先把一部分重复的证据收集工作交出去,把时间腾出来,留给真正需要判断和设计的事情。

从每天被 @“看一下这个问题”,到现在先 @ 小胜看一轮。

这中间的差距,不是一句聪明的 Prompt,而是一整套 SOP、Skill 和工具串起来的执行链路。

如果想更完整地了解这套思路在公司层面是怎么铺开的,可以翻一下我们 6 月 10 日发布的《把 SOP 变成 Agent 能用的 Skill,这是我们一直在干的事》。

那篇讲的是同一个方向在组织级别的落地路径。

花椒技术交流群

还在孤军研究 AI 工程化、AI 编程、Agent 落地,没人同行交流、没人拆解实战?

这里汇聚一线技术从业者,专注代码评审、企业内部 AI 助手真实实战落地。

想紧跟 AI 前沿动态、交流工程落地经验、少走踩坑弯路,欢迎直接加入「花椒技术交流群」。

群内专属福利拉满:每日精选研发向 AI 行业日报、文章独家延伸资料、文中未展开的技术细节,全部同步共享。

WechatIMG815.jpg

若二维码失效,可添加微信:LZ_Aug25,备注「技术群」,我会手动拉你进群。