让错误活不过 N 步

0 阅读7分钟

让错误活不过 N 步

——Agent 长任务的 checkpoint 设计

checkpoint 不是让任务停下,是让错误停下。检查点的密度不该跟着任务的难度走,应该跟着后果的可逆性走。

三句话版:上一篇(《做错一步不算什么,错了接着干才是事故》)的结论是:长任务里错误的成本 = 振幅 × 驻留时间 × 传染半径,工程重点是压缩后两项。这篇讲怎么落地:用分段把任务切成"每段产出一个可检查工件"的绿点序列,用三层检查(机械 / 语义 / 意图)按代价分配注意力,用状态文件把"已验证"和"未验证"分开记账,用闸门拦住不可逆操作。目标是让"错误最多活多久"从运气问题变成一个参数。


〇、定位:从口号到参数

上一篇论证了 Agent 长任务的主要矛盾:错误必然发生,麻烦的是滞留和扩散。结尾留了一句话——"错误最多活多久,应该由设计决定"。

这句话的具体形态就是 checkpoint。但很多 Agent 系统里的 checkpoint 是装饰品:每隔十步打印一句"自检通过✓",没有任何东西被真的检查过。这篇讲的是能拦住错误的 checkpoint 怎么设计——查什么、在哪查、查完留什么痕迹、谁来查。

一、先分段:按可验证边界切,不按时长切

checkpoint 的第一性问题不是"多久查一次",而是"每段的结尾有没有一个能被检查的东西"。文件、一次测试通过、一张映射表、一个 PR、一条变更说明——能被打开看的,才算工件。

一个好用的分段模板是把任务拆成四种角色,各司其职:

侦察 ──▶ 设计 ──▶ 改写 ──▶ 验证 ──▶ 提交
(只读)   (出方案)  (动手)   (证明)    (不可逆)
 L1      L2+绿点   L2+绿点  L3+绿点   闸门:人工
  • 侦察只读不动手,产出是"我看清楚了什么";
  • 设计产出显式计划,锁定后成为后续对照的基准;
  • 改写是唯一允许大规模动产物的阶段;
  • 验证单独成段,不许和改写在同一步里顺手完成;
  • 提交是不可逆操作,进闸门(见第四节)。

反例是把"改写 34 处引用"当成一段——它没有段末工件,错误可以在中间任何一步着陆。正例是"改完这一段并让相关测试变绿",测试就是段末工件,红灯即停。

二、查什么:三层检查,按代价分配

检查是有成本的,不能所有层都全量跑。三层各管一件事:

层查什么手段频率拦什么
L1 机械命令退出码、lint、类型、schema diff全自动,几乎零成本每步错误的振幅:让错误当场喊疼
L2 语义测试、产物审读、对照计划核对脚本 + Agent 自查每段末驻留时间:错了不允许带病进下一段
L3 意图这还是我们想要的吗?需求漂移了吗?人或全新上下文的 verifier每 3~5 段 + 不可逆前传染半径:方向性错误不允许被"执行得很完美"

L1 便宜到没有理由跳过;L2 是主力防线上一篇说过的"自己批改自己的考卷",L2 至少要做到"对着计划逐条核对"而不是凭印象打勾;L3 最贵,所以频率最低、只放在高影响位置,且最好由没有执行记忆的全新上下文来做——它只看需求和产物,没有错误的前提。

一条实用的判断规则:检查点跟着后果走,不跟着难度走。 难的步骤失败是响的(会报错、会红灯),危险的步骤失败才是静的(跑通了,但方向错了)。检查预算应该花在后者。

三、留什么痕迹:状态文件是审计版账本

上一篇说过,Agent 的上下文是账本不是草稿——写进去的都会被当成既成事实。对策不是不写,而是另立一本审计账:一个贯穿全程的状态文件,把"已验证"和"未验证"分开写。比如:

# STATE
任务:order_status 字段迁移(plan v2)

## 绿点(可回滚)
- [x] S1 侦察:字段清单与依赖已核实(commit a1b2)
- [x] S2 映射表:12 个字段的旧→新映射,已由 verifier 复核

## 进行中(未验证)
- [ ] S3 改写脚本:34 处引用待改

## 验证记录
- S1:grep 核对通过
- S2:verifier 指出 order_status 与 order_state 易混淆,映射表已加注释

三条纪律:

  1. 每段结束必须更新,更新是段末定义的一部分——没有状态更新的段落不算完成;
  2. 自检必须交证据,不收结论。 "检查通过✓"不算数,命令输出、测试结果、diff 链接才算。否则自检会退化成表演,Agent 学会了说"✓"这个字;
  3. 恢复从绿点重放。 任务中断或失败,不凭记忆续跑,从最近绿点重放。绿点的意义就在这:任何时候回头看,都有一个确定是干净的格子。

四、闸门:哪些操作必须停下来等确认

判断标准只有一条:可逆的不停,不可逆的必停。

典型清单:删数据、生产库写入、发布上线、对外发送、花钱、覆盖唯一权威版本。设计手法是先降级、后拦截:

  • dry-run 先行:每个危险操作都有"只报告将做什么"的模式。Agent 必须先输出影响面(将改动多少行、涉及哪些表),批准后再执行;
  • 事务包裹:能用事务的操作全部包进事务,失败即整体回滚,不留半截状态;
  • 两段式执行:plan 和 apply 分成两个独立步骤、两次确认。一次"计划+执行"连跑的操作,等于没有闸门。

闸门的经济学上一篇说过:它把错误的定价从连续变量变成离散变量,一步一格,撞闸即停。

五、参数怎么定:起步值与调整规则

不用一次设计到位,按这个默认值起步:

  • L1:每步,全开;
  • L2:每段末;
  • L3:每 3~5 段一次,不可逆操作前必做;
  • 人工闸门:只放在第四节清单里的操作。

然后跑起来按错误史调整,规则是:哪一类错误曾经驻留超过 5 步,就在那类操作后面加一道检查。 这和组织的复盘是同一个逻辑——事故不是用来道歉的,是用来改流程的。

也要防反面:检查点太密,任务被切成碎片,Agent 陷在自检循环里打转,或者把自检做成仪式。检查是成本,密度是个滑块,不是开关。调整的依据永远是上一条的驻留记录,而不是"多检查总没坏处"——有坏处,坏处在速度和表演性合规。

六、收尾闭环:从救火到检查项

任务跑完(或救完火),看三样东西:

  1. retry 分布:同一条错误反复出现的日志,就是驻留的现场记录——数一下它隔了几步才被换姿势处理,那就是这段流程的真实 MTTD;
  2. 停在哪些点:频繁触发闸门的环节,说明计划阶段对风险的设计不足,该前移到侦察/设计段;
  3. 人工救火清单:每次人工介入,问一句"哪个 checkpoint 本来能拦住它",把答案变成新的检查项。坏案例不是用来后悔的,是用来变成检查点的。

这样新任务天然继承旧任务的伤疤,和上一篇说的组织 MTTD 一样,这是个只会变好的循环。

结尾:一份最小配置

来不及做完整设计,至少带上这四件东西再开跑:

  1. 一份显式计划,作为偏航对照的基准;
  2. 一份 STATE 状态文件,已验证和未验证分开记;
  3. 每段末一个绿点:一段 = 一个可检查工件 + 一次 L2;
  4. 不可逆操作前一道闸门,dry-run 报告影响面,人工点头再动。

checkpoint 的本质,不是防止 Agent 走错——那做不到,上一篇的数学已经算过了——而是保证任何时刻停下来看,都有一个确定是绿的格子可以退回。

错误可以发生;"错误最多活多久",写进配置里。