用 Agent 做可靠的软件交付

0 阅读18分钟

最近看了 Lauren Tan 在公开演讲之后,受益匪浅。自己也变成一个grok bot 的重度用户,只需要告诉他我要干嘛,最后都能收获一个很不错的结果。自己也做一个叫morde的类似产品,下面分享一下最近的收获。

1. 从 Lauren 学什么:先缩短验证,再增加并行

1.1 让 Agent 真正运行应用,证据回到还在讨论问题的地方

在 Y Combinator 的《The Rise of AI Coworkers》演示段落,Lauren 在与同事讨论的 Slack 线程里发了一段 X 视频,问 Potato 能否支持类似的功能。Potato 调起 Cursor 云 Agent,后者在自己的虚拟机里运行应用、制作原型,视频和截图回到原线程。团队继续在同一个地方讨论实际效果。Lauren 描述的是这一个案例里的评审方式,不能据此推断团队所有改动都不读代码、不做人工复核。

我觉得值得抄的不是聊天窗口,也不是 Bot 数量,而是两次交接:用户不用把讨论手动搬进 IDE;工程结果也没有停在执行环境里。收到结果的人能看到刚才那件事做成了什么样。这比一条「已修复」省时间,也给继续追问留了上下文。

但不同证据回答的问题不一样:

证据回答什么回答不了什么
Diff 和代码评审改了哪里,能否维护,有没有越界用户路径是否真的走通
截图某个界面状态出现过先后次序、重连时序和无重复性
录屏和运行日志特定一次操作如何发生所有边界条件都正确
可重复的断言或回归测试在给定输入下行为满足约定测试没覆盖的场景、用户是否真受益
使用反馈或质量指标改动是否对实际工作有帮助单独拿一个相关指标证明因果

1.2 纠错的归宿是代码库和检查

在 AI Engineer 的《All Code Is Slop (Except Mine)》官方讲稿和行为验证片段里,Lauren 先讲代码库结构和静态约束,再讲运行应用、录制行为证据。演讲里有一个范围很具体的例子:对自己团队的 Electron 应用,用依赖检查限制主进程和渲染进程之间不该出现的引用。它不是一条适用于所有项目的 React 规范,但说明了一个很有用的原则:如果结构能消灭一种错误,就不用训练每个 Agent 记住例外。

P-Stack 的 /correct把这件事写成了一套可执行的做法:从历史重复错误找模式,优先改结构、类型、lint 或测试,再拿真实旧错误证明新检查确实能挡住它。只有无法机械判定的部分,才需要留给文字规则或人工判断。

比如,Agent 总把「模拟器通过」写成「真机通过」。继续在 Skill 里强调措辞,能减少误写;真正能拦住误报的改动,是由可信运行端提供环境字段,由服务端拒绝不匹配的证据,再补一个「模拟器冒充真机」的反例。Skill 帮 Agent 选做法;证据门禁决定状态能不能变。

1.3 Noodle 的调度问题,和 Morde 首版的问题不完全一样

Lauren 的开源项目 Noodle关注已有工作如何排队和推进。调度文档描述了同组可并行、前组全部结束后才启动后组;架构文档还介绍了独立 worktree、合并顺序与不同人工监督模式。这里引用的是文档设计,不是对其所有运行模式的独立实测。

Morde 首版从另一头开始:用户在一个会话里交代一件事,系统怎么弄清授权、拿到证据、交回一份 PR?我会借 Noodle 的工作区隔离和恢复思路;等多个独立任务真的挤在一起,再评估并行屏障和合并顺序。首版不接第二套调度器,也不靠自动合并来证明速度。

07-scheduling.png

图 1|Noodle 的文档重点是阶段调度;Morde P0 的重点是把一件小事交付回人所在的会话。

2. Morde 的最小闭环:一条对话、一件事、一份待审 PR

Morde P0 只做一个仓库、一个 Agent、一个可以单独验收的小 Bug 或小需求。首个里程碑选 PC 发起,回原会话交付;PC/iOS 接续同一会话是产品方向。如果某一单只验证了 PC,就只报告 PC,不能把同一条消息在两端可见当成 iOS 功能验收。不开自动合并,不部署,不做跨仓协调,不建通用可视化编排器。

01-closed-loop.png

图 2|01–04 是交付主链,05 保障中断不失控,06 把验证过的经验留给下一单。

模块何时参与谁拥有结果
01 接单与需求价值用户发来需求,尚未执行Morde 有一张明确目标、非目标、基线、验收和授权的任务卡
02 隔离执行有明确范围和本次执行授权之后DSH / Host Runtime 返回候选提交、运行记录,不能自行批准交付
03 证据与验收候选提交产生后,标 PR 待审前Morde 服务端校验可信证据、提交和环境
04 交付通过门禁并获得相应授权后服务端关联一份 PR,结果回原会话;人决定合并
05 状态与恢复贯穿全程账本保留任务、尝试、预算、授权判断和外部操作回执
06 项目记忆真实任务结束后提炼;下一单接单时匹配项目负责人确认规则,规则有版本、范围、来源和停用方式

2.1 从一句话到一张能验收的任务卡

如果「重连后进度重复」只是转述,先查一条反馈或者做一次复现,不要为了开 PR 假设它值得修。接单时可以写下这样的任务卡:

字段重连 Bug 的示例
用户问题重连后进度重复,用户难判断是否执行了两次
预期行为同一事件只呈现一次;重连后的新进度不丢;另一个会话不受影响
非目标不重做网络协议、任务面板或整个消息存储;不改变任务取消语义
最小证据修前可复现,修后回归通过;用实际 PC 客户端走一遍目标路径
范围与权限固定仓库、基线提交和独立分支;写入与开 PR 仍由本次授权决定
使用后检验用户能否在重连后正确判断任务状态,不再因重复显示多点一次

任务卡是可核验的约定。它既不是一段模糊提示,也不是让用户提前把所有技术步骤写出来。仓库、授权或验收目标缺到无法判断时补问;Agent 能从现有上下文确定的就不问。对接现有 Portal 会话接口时,收到消息的 HTTP 202 只代表受理,界面要等到实际任务记录出现,才能说「任务已接单」。

2.2 重连时,区分「重放事件」「重复显示」「重复执行」

可以用一条很小的测试序列拆开这三个概念:客户端已收到事件 e17;掉线后恢复订阅;服务端重放 e17,再送来新事件 e18。预期是 e17 只呈现一次,e18 不漏,即使两条文案碰巧一样也不能把新事件吞掉。再加一个独立会话的样本:同样的文本不会串线。

03-reconnect.png 图 3|重复发送是输入条件,重复渲染才是要修的现象;是否重复执行,要另看服务端任务记录。

实现的第一步不是武断假定哪里有 Bug,而是定位:任务是否只创建一次?服务端是否按设计重放?哪一层把同一事件当成新行?如果已有稳定事件 ID,可以按授权流的作用域和事件 ID 幂等更新;如果 UI 是一张任务卡,还要分别处理卡片身份和更新版本,不能按显示文本去重。如果协议有可靠游标,只有成功应用后才推进;发现游标缺口或过期时,可以按协议重新取授权快照,不能假装中间的事件都收到了。这些是待验证的实现选择,不是对当前 Morde 代码缺陷的诊断。

验收分两层。可重放的测试夹具让历史错误稳定出现,也能重复验证修复;真实客户端测试则打开任务视图、制造一次断连、恢复连接、核对旧进度和新进度。这两种证据都值得留。前者能进回归,后者证明真实入口、状态和界面没有在集成处出问题。Morde 的开发约定明确要求涉及 PC 的改动操作实际 morde-pc,不能拿浏览器替身、构建或单元测试冒充这项验收。

3. 架构分工:执行交给 DSH,交付判断留给 Morde

PC 与 iOS、Morde 服务端、DSH 和外部系统的架构边界转存失败,建议直接上传图片文件

图 4|Agent 工作区、可信证据、持久状态和外部写入分属不同边界。

DSH 是执行层。 优先检查 Morde 已接入的组件和 DSH 上游,有合适插件就复用;兼容性、版本、许可证和中断恢复都要验。用现有 Host Runtime 和 Git worktree隔离检出和分支,不覆盖用户本地的工作。worktree 不提供安全隔离,能访问哪些文件、工具、凭据和网络,另由运行环境限制。执行器不拿推送或开 PR 的凭据。

Go 服务端是控制层。 它处理对话到任务的关联、权限、预算、状态、证据和投递。模型可以提出「先查事件流」「重跑回归」,不能自己把证据设为可信,也不能给自己扩权。现有 CI 和工具优先接入;用浏览器时可参考 Playwright trace,但产物不证明 iOS 真机运行。开 PR 走受控的 GitHub Pull Requests API,授权和外部写入回执由服务端保管。

首版用轻量 Workflow,不用 A2A。 固定的是会改变任务状态的边界,例如「缺当前提交的证据不能待审」「撤权后不能继续写」。每一步里面怎么定位、选哪项测试先跑,可以由 Agent 根据任务决定。两者可以同时成立:状态规则稳定,执行路径灵活。等到独立团队各自拥有 Agent、需要跨系统协商身份和交付时,再看 A2A 是否值得。六份设计文档是六个职责,不是六个插件,也不是六个微服务。

4. 真正能验收的 PR,要能回答「这个绿灯是哪一次跑出来的?」

假设候选提交是 abc123。如果报告来自旧提交 def456,就算它是绿的,也不能证明这次的代码;若验收要求真实 PC 应用,浏览器用例通过也不能替代。如果跑了正确环境的用例但断言失败,才是「失败」;没跑、拿不到或无法确认来源,是「未验证」。这几个状态决定了系统下一步是修复、补证据,还是等待人工决定。

04-evidence-gate.png

图 5|证据来自可信运行渠道;新提交使旧就绪结论失效,历史记录仍可追溯。

门禁最小需要的字段:必验项 ID、仓库与候选提交、可信运行记录 ID、实际运行环境、结果、时间、可访问的产物引用。客户端验收还要能把安装包或可执行文件对应到这次构建;光在报告上写一个 SHA 不算绑定。运行环境和结果由受控测试入口或可信 CI 元数据提供,不接收 Agent 自填的「通过」。截图、录屏和日志只给有权限的人查看,不把敏感产物搬进公开 PR。

场景PR 应显示什么
必验项均有可信证据,当前提交与环境吻合可交人工评审
测试确实跑了,但回归断言失败失败,附实际结果
上一版通过,这一版又推了新提交待重新验证;历史证据保留但不能放行
需要真实 PC 或真机,手上只有替身证据该项未验证;明确是哪种环境
必须在 PR 上才能跑 CI已授权才先开一份草稿,通过后把同一份草稿转待审

如果未来把同一规则接到 GitHub 的必需检查,还要验证检查本身确实生效。例如 GitHub 的官方说明指出,条件跳过的 job 可能被视为成功,仅由手动触发(workflow_dispatch)生成的 job 检查不能满足 PR 适用的分支规则集。没有证据时要明确失败,而不是跳过门禁;验的是 PR 头还是 GitHub 生成的测试合并提交,也要写清楚。这里不预设仓库已经配置了这样的规则。

用户最终收到的结果可以很短。下面是一份格式示例,不是真实 PR:

待审 PR:重连后同一任务进度只显示一次。
修前:重放同一事件,复现重复行。修后:重复事件只显示一次,新事件正常到达。
候选提交:abc123(示意);附回归及真实 PC 路径证据。iOS 不在本次验证范围。
尚未合并。

5. 出错怎么处理:先辨别发生了什么,再决定要不要重跑

想象最棘手的那次超时:Morde 已发出开 PR 请求,GitHub 确实创建了 PR,回包还没来,服务就重启了。如果工作流只存「开 PR 这一步没完成」,下一轮容易再发一次。更稳妥的做法是外部写之前先记下任务的交付意图;恢复时,如果有未确认的写操作,先查外部状态。

05-pr-recovery.png

图 6|结果不明不是失败。找不到可靠的匹配证据时,停在待对账。

对账细节是先按目标仓库、目标分支、任务分支和任务标识找 PR,再核对它的当前提交。找到身份明确的 PR 就绑定,不再创建;如果发现已经推了新提交,用同一个 PR 重做验收。如果仍不能确定,就显示待对账、保留已有证据,不盲重试。数据库唯一约束能减少内部重复记录,但不能让外部 API 也变成「恰好执行一次」。原会话的最终结果也单独去重,别因为恢复了投递就显示两条「完成」。

其他边界同样值得故意打断一遍:

故障或变化可接受行为不可接受行为
任务执行期间用户撤权停止发起下一次写;对在途动作查实际结果以任务开始时的授权继续写,或声称已撤回发生的动作
服务重启,旧尝试延迟回来旧回报保留为审计记录;不能覆盖新尝试状态把旧绿灯当成当前结果
时间、重试次数或成本达到上限不再启动新尝试;显示停在哪和已有证据重启后清空预算继续跑
用户关了窗口已受理的云端任务按原授权继续;回原会话恢复查看误作取消,或者重新接一份相同任务

最小账本保留任务 ID、原会话、基线、当前尝试、候选提交、证据、授权决策、预算和 PR 关联。它是为了说明「谁、在什么条件下、做到哪里」,而不是把原始对话和调试数据全存一遍。审计记录也依访问权限展示,不因为有 PR 链接就默认谁都能看。

6. 工作流可以变,但别让 Agent 边跑边改规则

第二单是假设的新反馈:「断线重连后,最终结果通知显示了两次。」用户不必再交代一次「重连可能重放,别按文案去重」。Morde 可以匹配已确认的项目规则:重连类改动要覆盖同一事件重放、新事件不漏和作用域隔离。它应说明用了哪一版、为什么适用,并对新的提交重新验证。这次复用的是验收方法,不是上一次的绿灯、权限或结论。

06-learning.png

图 7|让项目的有效经验进入下一轮;没有来源、没通过反例或不适用于当前任务的经验不升为默认。

建议先从一条候选规则做起:

  1. 从真实纠正提取。 记录来源任务、对应测试和哪一步漏了,不用保存整段聊天。
  2. 给出适用范围和反例。 「重连类进度/结果更新」适用;「不同事件恰好同文案」不能被过滤;非相关仓库不默认继承。
  3. 能机械判定的就写检查。 拿历史失败样例证明旧错过不了,再用正常路径证明不会误杀。判断性建议用任务模板或 Skill。
  4. 小范围试用,再由负责人确认。 记录版本和生效条件。下一单可用,正在跑的任务不悄悄换门槛。
  5. 停用和回滚。 过期、无法再复现或造成误拦时撤回。有冲突就呈现给负责人,不靠模型猜哪条是新的真理。

首版的项目记忆可以只是管理良好的结构化记录。任务、尝试、提交、PR、测试和规则之间有明确关系,就能回答「这份 PR 为什么被标待审」「哪次错误促成了这条规则」。现有 PostgreSQL 足够先做这层轻量本体。只有跨仓依赖追踪反复成为瓶颈,且现有关系查询解不了,才值得评估独立知识图谱。把所有聊天存进向量库,并不会自动产生可追溯的经验。

7. 护城河假设:少花的人工时间,经不起只数 PR

Lauren 的公开分享把高产出当作讨论背景。对 Morde,直接把「一个月开多少 PR」作为目标,会奖励拆碎、重复开单,甚至让人用更多评审时间来消化结果。我的比较单位是同样质量标准下,一项真正通过验收的改动。

先把两类价值分开:修复对用户有没有帮助,与 Morde 是否降低了交付成本,是两个问题。前者观察用户重连后是否仍误判、是否还会重复操作;后者用同一仓库、难度相近的任务拿用户熟练使用的 Codex 流程做基线。让两组都按同样的标准验收,不用一个配好了一切的系统去比一个没配置的对手。首装和调整的人工成本单列;花在失败和没有交付的任务上的时间、推理和运行成本不能藏掉。

08-pilot.png

图 8|先验证真实交付,再评估可靠性、规则复用和净收益,最后才决定是否扩并行。

要量什么建议口径
结果有没有真的过关盲复核证据,确认仓库、当前提交、环境、实际行为是否一致;同时记录没过和中止
人花了多少时间记录澄清、盯运行、补证据、评审和返工的人工分钟;端到端等待时长另记
重复任务还要教多少比较补充说明次数、漏验次数和复用规则的实际命中,不只看 Agent 是否声称记得
失败和恢复成本计入失败运行、重试和人工接管;核对是否重开 PR、丢证据或突破预算
需求是不是真的有价值合并后用真实任务或用户反馈查是否改善;拿不到就标「价值待验证」

试点的小样本足以找瓶颈,不足以证明长期优势。如果质量门槛降了,再快也不算赢。如果第二单仍要从头教,先改记忆的来源、作用域或测试入口。如果每单都要人重找证据,先修验收和回传,别加更多 Agent。等单任务的证据和人工成本都稳定,再试多个互不依赖的任务;让它们各用自己的工作区,合并逐个处理。

结语

拿一个仓库、一个真实小 Bug,做成一份带当前提交测试证据的待审 PR。然后有意打断它一次,再给一个同类任务。如果人能看懂为什么过关,重启不产生第二份 PR,第二次还少教了一遍,Morde 才开始积累可重复的交付能力。

写代码越来越容易。更难复制的是一支团队逐步攒下的验收规则、有效反例和可信记录,以及把它们真正用于下一次交付的能力。这才是我愿意为 Morde 验证的护城河。


实现参考: Lauren 的 AI Engineer 演讲 · YC 对谈与 Slack 演示 · Noodle 调度设计 · P-Stack /correct · Morde 项目。