AI 汇报"已完成",谁给它打分?我用 SoduWork 实测了一次双模型门禁

0 阅读13分钟

AI 汇报"已完成",谁给它打分?我用 SoduWork 实测了一次双模型门禁

本文为受邀评测,观点基于实际体验,测试版本为发布前源码版(commit 281c1fa),以最终发布版为准。

一句话概论

我通过SoduWork给 AI 派了一个埋了四个雷的订单汇总任务,走完整条链路,**干活 AI 首交把四个雷全处理了,**比预想要强;独立审查 AI 抓到了它自检漏掉的真问题;人工退回驱动了真实返修,独立核验后闭环。这次实测最大的收获:把"验收标准写死证据要求、审查者换模型、不采信自评、人拍板"这套规矩跑通了一遍,AI 说"测试通过"这件事,可以被制度验证,而不必靠信任。同时实操过程中也遇到了两个流程衔接上的改进点。

先收藏再看,适合被"AI 说修好了、一跑就崩"反复折磨的开发者,以及在团队里推 AI 工作流、纠结"验收标准怎么定"的技术负责人。

一、背景:AI 交付的"自评分"问题

两个近年被反复讨论的现象,构成本次实测的动机:

  1. 研究称 AI 辅助编程让代码量涨了 30%,实际交付没有涨,量的增长跑在质的前面;

  2. Hacker News 上流行起 "Testslop" 这个词,讽刺 AI 自己写测试、自己跑、自己宣布通过,写作业的和批作业的是同一个 AI。

1.1 SoduWork 是什么?

SoduWork 是一个开源的企业级 AI 原生引擎:人和 AI 在同一个需求池里接活、交接、验收——标准由人定,结果由人验收。 按官方介绍,它的核心能力有这几块:

官方口径介绍的是设计目标,下文全部是我自己的实测体验,两者分开看。 本文实测聚焦的是其中一条主线:"需求池 + 验收标准 + 双模型分工 + 人工拍板"的质量门禁链路,也是我认为它最有辨识度的一块。

为了测试 SoduWork** **质量门禁链路,我设计了一个"埋雷"实验。

二、评测环境与任务设计

2.1 环境

项值
系统Windows 10 Pro 10.0.19045
Python / Node / Git3.14.2 / v22.21.1 / 2.52.0
SoduWork源码运行,commit 281c1fa(2026-11-13)
启动方式python start.py --desktop
干活模型doubao-seed-evolving(火山方舟,OpenAI 兼容)
审查模型deepseek-flash(DeepSeek 官网,OpenAI 兼容)

两个模型来自两家不同厂商,都通过 SoduWork 管理端的"模型目录"配置,请求经 Hub 统一代理转发,刻意区分两个不同的模型去执行和审查。

image.png

image.png

2.2 任务:一个表面简单的 CSV 汇总

写一个 Python 脚本 sales_summary.py:读取 orders.csv(订单号/区域/产品/数量/单价/金额),统计每个区域的订单数、数量合计、金额合计、平均单价,打印到终端并保存 summary.csv。

image.png

19 行订单数据,四个区域。数据里埋了四个雷,但需求描述一个字不提:

雷点位置踩中后果
UTF-8 BOM 头文件头 ef bb bf表头解析错位
千分位金额3 行 "1,250.00" 格式数值解析报错或错算
数量全 0 的区域西北 2 行数量 0算平均单价时除零崩溃
编码损坏行第 18 行 GBK 字节严格 UTF-8 读取直接抛异常

我自己线下验证过,这份文件用严格 UTF-8 解码会在第 738 字节处崩溃,需要进行调整。

验收标准是这次实验的关键设计**,**不写"功能正常",而是写死两条硬要求:

  1. 数字核对表:四个区域的汇总值给出人工预算好的参考值(华东 6/52/26850.00/516.35 等),逐字段比对;

  2. 证据要求:四类异常逐项附真实运行的命令与输出片段,明确写了"不接受只贴代码或口头声称'已处理'"。

这就相当于把"自评分"的口子堵死:说"已处理"没用,拿证据。

d7e3e235-f1ed-43b9-b94f-6b065bdfac54.png

三、实测过程:五幕完整记录

3.1 需求首交付

在需求池创建需求、安排执行(底座 Pi + doubao-seed-evolving),AI 干完活提交了交付说明:主脚本 + 生成的 summary.csv + 一个自写的验收脚本 verify_acceptance.py + README。

我实际复跑了交付物,四个雷全部正确处理:BOM 按 utf-8-sig 剥离、千分位命中 3 条并去逗号解析、西北"不可计算"显式标注不崩溃、第 18 行报告了行号+字节偏移+hex。数字与核对表逐字段一致。它还附了每类异常的运行输出——首交就是一次高质量交付,没有翻车戏。

这一点我实话说,以当前模型的水平,一个边界条件清晰的脚本任务,首交质量已经相当能打。

130-首交-交付说明-2.png

但注意一个细节,Ai自完成的 verify_acceptance.py 跑出"14 项全 PASS",写代码的和打分的是同一个 AI,这肯定是存在问题的,后面我又使用另一个模型去进行独立审查。

130-首交-审核-3.png

3.2 独立审查,抓自检漏掉的问题

把同一个对话的模型切到 deepseek-flash(SoduWork 支持对话中途换模型,上下文保留),让它以"独立审查者"身份逐条对照验收标准审查,并明确指示:不采信 verify_acceptance.py 的结论,必须自己复算。

审查者干得相当专业,自己写提取器 + awk 独立聚合复算所有数字;做扰动实验(改一笔金额看输出是否跟变、往数据里注入新的乱码行验证"跳过"是逐行逻辑而非写死行号);grep 检查源码排除硬编码答案;甚至反向篡改 summary.csv 去测 verify_acceptance.py 是不是"永远 PASS 的空壳"。

结论:通过。但列出了 4 个"非阻塞"问题,其中两个是真的:

  1. -q/--quiet** 是空实现**:参数声明了,main() 从没读它,README 承诺的"-q 只打汇总表"实际不存在;

  2. README 有一句与源码不符的表述(自称用到的 str.removeprefix 在源码里零命中)。

关键对比来了:执行者自检 14 项全 PASS,恰好测不到自己写的 -q 和自己的 README 描述。自检只测它想测的**,**"Testslop"这个词的现实注脚。而独立审查换了视角,diff 一跑就现形。

cde622f5-88d1-489e-8595-9c4d1abe0a2e.png

3.3 人工退回

审查判"通过(非阻塞)",但我按验收标准第 4 条("交付说明需写明预期输出")较了个真:README 写了 -q 的预期输出,而这个输出根本不存在——交付说明里有一段虚假描述,按标准字面就是"未完全满足"。

在验收环节选了退回,退回意见写明两处修改要求。

a0069ac3-11ad-4559-b2b4-7c20949bc340.png

3.4 需求返修

退回消息发回原对话后,出现了本次实测最神奇的一幕:doubao 的第一反应不是修代码,而是交了一份更漂亮的复审报告——把第二幕的审查又深化了一遍(新增扰动实验、反向篡改测试)。

"被退回"被它理解成了"再证明一遍自己"。

我随后追了一条精确到行号的返修指令(明确指出要改哪个文件、哪一行、改成什么行为)。这次它真的动手了:直接写盘修复、给出修改后的代码段、-q 与默认两种模式的实跑输出、修正后的 README 段落、零回归声明,并重新打包了交付 zip。

我没有采信它的声称,独立核验了每一项:

检查项AI 声称我的实测结果
-q 实跑21 行、无异常报告21 行、0 处"异常处理报告"✓
默认实跑38 行、保留报告38 行、1 处✓
代码修复main() 读取 args.quiet第 403 行 if not args.quiet:✓
README 修正removeprefix 句已改写已改为"并无调用"的准确表述✓
数字零回归与退回前一致四区域与人工核对表逐字段一致✓

返修闭环完成。 AI 自报的每一项证据都经得起独立复跑——这是整个流程里我最满意的一环:退回驱动了真实修复,修复附了真实证据,证据扛住了第三方核验。

image.png

image.png

3.6 收尾,办结、归档与评价沉淀

任务办结、归档,"评价与沉淀"面板照实评价(评价、建议与需求的证据链绑定,未来可沉淀为团队经验)。

68096c15-b454-40fe-9ad7-09ce352bd72c.png

55f11172-e76b-4082-844b-51d99d986fec.png

全程用量:64 次模型请求,3,493,247 tokens(缓存命中 3,230,296),输出 45,017 tokens,模型侧累计耗时约 97 秒,5 个会话。干活与审查成本分别来自火山方舟与 DeepSeek 的账号额度,本次任务量级下费用可忽略。

296aefed-9c96-456f-acc9-e6c50bfd41fe.png

四、两个真实的流程改进点

整条链路跑通了,但有两处衔接值得项目方注意,也写给准备上手的读者:

  1. 退回的语义目前靠模型"悟":退回意见发出后,第一轮响应是复审报告而非修复,直到指令精确到行号才触发真正返修。"退回→返修"之间如果能加一道结构化约束(比如退回单绑定必须解决的条目、返修交付必须逐条回应),会少依赖运气和措辞。

  2. 返修产物与任务交付物的同步:本次返修写盘在对话自己的工作目录(SoduWork 里对话与任务执行各有独立工作区,这个设计本身合理),但已归档任务的交付物不会自动更新为修复版,对"以任务为中心留痕"的产品定位,这条链路打通会更完整。我核验时一度查错目录、误判"未修复",就是这个双工作区结构导致的理解成本。

五、踩坑实录

这部分是给准备上手的人的"排雷图",每条都验证过:

  1. "配置完整"≠ 能用:管理端显示服务"已配置"(密钥位数正确),实测请求仍可能失败。SoduWork 的能力检测(错误码 credentials_or_access / request_not_accepted)定位是准的,值得信,跑完再开工。

  2. 模型 ID 必须是 API 精确 ID:控制台界面的标签(如上下文标记)直接抄过来会 404,要去 API 模型列表里核对精确 ID。

  3. 订阅 Plan 的额度不在裸 API 端点上:编程类订阅(各家"Coding/Agent Plan")的额度通常挂在指定协议端点,直连 API 计费端点会报余额/权限错误。接入任何第三方工具前,先 curl 一发验证,别信"支持 OpenAI 协议"的字面描述。

ecb1d485bf63c1e0434b4401feda5caf.png

  1. 个人 Key 静默覆盖企业 Key(本次最隐蔽的坑):客户端"我的模型"里存过的个人 Key 优先级高于管理端企业配置,且能力检测测不到这层覆盖——检测全绿、对话 401,报错文案也不指向这里。修复:清掉个人层残留。

  2. 源码启动时,退出客户端会连坐本地 Hub:启动器是 Hub 父进程,关客户端=全停。想常驻需保持启动器窗口(或改用服务化部署)。

  3. 能力检测器对一个模型的"工具调用"报了 unsupported,手动标准 OpenAI 格式 tools 调用实测正常——判定可能偏保守,别全信徽标,实跑为准。

六、问题与建议

产品层面:

  1. 退回→返修的结构化衔接;

  2. 返修产物与任务交付物的同步;

  3. 个人 Key 覆盖企业 Key 无提示,能力检测与对话取 Key 路径不一致;

  4. 能力检测对部分协议/模型的判定与实际行为不符(anthropic 协议不探测、工具调用误判)。

体验层面:安装一键化做得不错(Windows 上全程无坑、Electron 下载约 4 分钟);管理端信息密度高,新手上手需要适应;需求池-验收标准-审批-留痕的完整链路在 UI 里都能找到,但"评价与沉淀"入口较深;对话中途换模型、双模型各司其职的体验流畅,是本次实测体验最好的部分。

七、实测之外:这套系统还有什么

本次评测聚焦在"双模型门禁"这一条主线上,但完整跑过一遍安装和管理端之后,可以给一个产品全貌的客观印象,管理端实际包含很多功能模块:

  • **插件与应用 / 能力目录:**插件市场形态的入口,含插件发布与授权管理(本次只路过,未实测插件全流程);

image.png

  • **自动化模板 / 运行监控 / 执行网络:**工作流自动化与执行网络治理;

  • **仓库目录 + Issue 同步:**GitHub/GitLab 仓库接入需求池;

image.png

  • **组织治理:**组织架构、组织记忆、工作目录、用户管理、角色权限、审计日志,企业侧的权限与留痕体系;

image.png

  • **用量与成本 / 额度管理:**模型用量、成本与额度治理;

  • **多底座支持:**从源码的 agent 目录看,除本文用的 Pi 外,还内置 Codex Harness、OpenCode、Qwen Code、DeepSeek Harness、Kimi Code、Claude Code、Google Harness² 等底座,具体以官方文档为准。

image.png

AI 搭插件并自测、插件版本审核发布、多 Agent 分工协作,区别于"纯聊天窗口"的核心叙事,把团队做事方法沉淀成有版本、可审查的插件,SoduWork走的是AI 资产化路线。

八、适用/不适用 人群

个人开发者:想让 AI 干活但不想当"人肉验收员"的,这套"验收标准+独立审查"流程值得抄作业——即使不用 SoduWork,"把证据要求写进验收标准、审查者换模型、不采信自评" 这三条你自己搭 prompt 也能用(本文第三、四幕就是现成模板)。

小团队/技术负责人:需要 AI 工作流留痕(谁执行的、谁审的、退回理由、返修证据、评价都绑在需求上)的场景合适;模型成本可控(多家厂商经统一目录代理,本次 349 万 tokens 里缓存命中 323 万)。

不适合:期望"全自动无人值守交付"的——本次实测里最关键的两次动作都是人做的;以及需要复杂权限/组织治理的场景,开源版的能力边界请以官方文档为准(本次未测企业侧功能,不推断)。

总结

这次实测的剧本在第四幕拐了个弯:我本来准备好了"AI 翻车被拦截"的剧情,实际拿到的是一条更完整的链路。首交很能打、自检有盲区、审查能挑刺、退回被误读过一次、返修最终真实完成且证据扛住了独立核验。AI 的交付质量在涨,但"它说测试通过"依然不等于"测试通过";让这句话可以被验证的制度,才是这次实测里真正值钱的东西。

仓库地址:github.com/mdiri-ai/So… ,觉得思路有意思可以先 Star 一个;README 有 5 分钟快速上手,跑通之后有任何问题直接提 Issue。实际使用过程中遇到的流程改进点,也可以 Issue 形式反馈实测细节。