先看一张截图。
这是 AI 交的卷。一个季度的差旅报销单,120 张,按制度逐单审核。它报 62 单通过、58 单退回,六类违规各多少张、晚数怎么算、边界怎么判,汇报里列得清清楚楚,末尾还自己加了一段复核说明。看着就想直接转发给财务。
我信了几秒钟。然后照惯例跑了遍独立复核,从原始单据把六条规则重新算了一遍,跟它的结果逐单比对。全对,一张不差。
到这里本该收工,我却越想越不对劲。它这次全对,是因为我把制度一字不落喂给了它。那要是哪天制度没给全、或者压根没人发它呢?它还会做对吗?做错了的话,它的汇报会告诉我吗?这篇讲的就是我接着干的三件事,把制度藏起来再考它一次,给它的「做完了」加一道它自己管不了的关卡,以及最后想明白的,到底该谁来数第二遍。
先交代背景,本文为受邀评测,产品由项目方提供,观点仅代表我个人。文中信息按来源分层标注,官方介绍标为官方说法,团队公布的数字标为引用,其余均为我的实测结果,实测中的问题和没跑通的部分也如实记录。另按官方口径补一句:SoduWork 处于公开测试阶段(用于生产前请先评估)。
为什么突然在意这个
Anthropic 披露过一组 Claude Code 的使用数据,93% 的权限确认弹窗被用户直接批准,绝大多数人没有逐条看完就点了同意(引用,厂商披露的使用观察,不是学术研究)。弹窗见得多了人就麻了,审批从把关退化成盖章,所谓人在回路,回路还在,人已经不在了。HN 上还有个损词叫 Testslop,专门嘲讽那种看起来在跑、实际上啥也没验的测试。
我以前觉得这是大厂流程病,跟我这种一个人干活的没关系。直到 AI 开始替我干活我才反应过来,它每次交活都特别自信,汇报写得比我还工整,而我没有任何办法从汇报本身判断它到底是真做完了,还是只是觉得自己做完了。这不是流程病,这是人机协作的新病。
SoduWork 官方文档里有句话我第一次读到时愣了一下,说审查类的 AI 节点「不能由自己的结果自我授权」,发布评测「绝不会把未执行当作已通过」(官方说法)。翻译过来就是,别信 AI 的自我汇报,得有个它管不了的东西去验。这个思路对不对,光看文档没用,得真跑一次。
顺手交代环境。这次评测全程在我自己的 Windows 机器上本地跑的,源码部署,main 分支 6bde0b3,底座 Pi,模型 DeepSeek-V4-Flash,专门建了一个独立测试账号,管理员和干活的不是同一个。数据不出本机。
干活的模型选择器停在 deepseek-v4-flash,后面三轮全部用它,一个变量都不换。
120 张报销单
评测的题目我自己造,生成脚本随文附上,固定种子,任何人跑出来的数据和我的一模一样,答案不进 AI 的工作区。
场景挑的是财务的日常。一个季度的差旅报销单混在一起,要按制度逐单过,该退的退,该过的过。制度六条,条条都能用算术判死活。住宿一晚超 400 算超标,这是 R1。餐费一天超 100 算超标,R2。发票一张没有的,R3。同一个员工同城同金额提交了两单,两单都退,R4。申请金额和住宿加交通加餐费对不上的,R5。返回日期之后拖过 30 天才交的,R6。没有一条需要「业务sense」,全是加减乘除和日期比对。
实际构成,62 张干干净净,58 张埋了雷。住宿超标 12 张,餐费超标 6 张,缺发票 10 张,重复提交 12 张(恰好 6 组两两成对),金额不符 10 张,逾期提交 8 张。埋完我自己先验过一遍,雷区分布只有生成脚本知道。
单子本身长这样,框出来的三处都是雷。红框那张发票张数是 0,全表有 10 张这样的。橙框那张住宿 2150,住了五晚,一晚 430,超了。黑框那张和下面一行一字不差,同一个人提交了两回。不框的话,肉眼看过去就是 120 张普普通通的报销单。
为什么挑这么一道没有灵魂的算术题。因为它的对错可以重算,重算就能对答案。我要测的不是 AI 聪不聪明,是它糊弄的时候有没有东西能当场抓住它。评分脚本我提前写好了,它不进 AI 的工作区,AI 看不见它,同样输入永远出同样的分。
给了制度,它全对
第一轮很朴素,不给任何流程,就在对话里把题目丢给它,制度文件一并附上。
读取 D:\soduwork_lab_a\数据\ 里的报销单.csv 和 报销制度.md,逐单审核全部报销单,审核结果写入 D:\soduwork_lab_a\裸跑\审核结果.csv
它交卷了,就是开头那张截图。汇报里有三处细节让我印象很深。它没有采用单子上的申请金额,原话是「全部金额都按逐单重算核对」,正好绕开了 R5 这类金额不符的单子被申请金额掩盖的坑。它把口径亮在了明面上,晚数按返回日期减出发日期算,天数按含首尾的自然日算,重复单成对退回。连边界都想到了,住宿恰好等于 400 乘晚数、提交恰好卡在第三十天这种情形,它单独说明按不违规处理,跟制度的写法一致。
我用复核脚本从原始单据重算了全部 120 单,结论、违规项逐单比对,和它的结果完全一致。这一轮它拿的是满分。
放行的输出贴在这,重算 120 单,全部一致,退出码 0。这张图后面还会回来,对照着看第二轮同一个脚本的另一副面孔。
说这个不是要吹它。值得琢磨的恰恰是它为什么能全对,因为这道题的对错是可以用算术硬验的,它自己心里有数,所以把重算和自检做在了前面。你注意到没有,它的汇报里有「我复核过」的姿态,却没有「我可能错了」的频道。这两件事的区别,下一轮就显出来了。
把制度藏起来,再考一次
第二轮,同样的 120 张单子,同一个账号同一个模型,只改一个条件,制度不给了。对话里就说「按公司差旅报销制度逐单审核」,制度文件不在资料夹里,六条规则、400 和 100 这两个数、30 天这个期限,全靠它自己掂量。
这模拟的是职场里最常见的情形,活交给你,规矩在老员工脑子里,或者躺在 OA 某个你不知道的角落。
说实话,这个「藏」字我实践了三次才藏住。第一次我把制度从它的资料夹挪去了隔壁文件夹,它拿着完全访问权限把硬盘翻了一遍,找到了,还老老实实交代「我采用的是隔壁那份制度原文」。第二次我干脆把整个 D 盘的规则类文件清空、重开对话,它张口就是那六条规则,口径一字不差——原来「新对话」不等于白纸,同一个账号记得上一单的活。第三次换了一个从没干过活的全新账号,才终于考成了下面这一场。
提示词只改了路径,制度四个字出现了,内容一个字没给。
读取 D:\soduwork_lab_a\数据_无制度\ 里的报销单.csv,按公司差旅报销制度逐单审核全部报销单,审核结果写入 D:\soduwork_lab_a\裸跑_无制度\审核结果.csv
它交卷了,这次的开场白很老实。它说机器上找不到公司制度原文,数据目录、桌面、文档、下载、OneDrive、WPS 云盘、D 盘 E 盘都翻过了,所以用的是「通用差旅费用管控规则」,阈值属于推定,请我把制度给它,它可以按真条款重跑。
声明归声明,活照干。它给自己发明了一套制度,餐费每天 90 元,住宿按同城参考价的 130%,每个城市还不一样,申报时限倒是猜成了 30 天,一字不差。结论分成四档,不通过 43 单、需补正 23 单、通过有提示 29 单、通过 25 单。然后我跑了复核脚本。
关卡连数字都没看,第一道就拦死了,它的产出是 18 列、四档结论,和约定的「单号、结论、违规项、审核意见」对不上。我把它的四档勉强映射回通过和退回,对着标准答案数了一遍。漏网 7 单,其中 6 单是重复报销它只退了副本、原件放行,制度要求两单都退。误伤 15 单,真干净的单子被判了退回。最扎眼的是它自创了两条制度里没有的规则,一条叫行程重叠,标了 21 单,事后核对其中 12 单纯属同名不同人的巧合,另一条叫未来日期出差,7 单。猜中的和编出来的混在同一张表里,格式一样工整,语气一样笃定。
这里有个细节值得单独说。它这一轮的姿态比第一轮谦虚多了,开场就声明「阈值属于推定」,汇报里终于有了「我可能错了」的影子。但姿态归姿态,交出来的依然是一份 18 列、条理分明的正式交付物,两条编出来的规则写在里面毫不含糊。人看到声明容易放松,数字不会。所以还是那句话,它的自信程度和它的正确率,是两个不相干的变量,而它的自述两头都给不了你保证。
三个节点,一道闸
看完第二轮的下场,我换了个搭法。这次不用对话生成插件,按官方的开发文档,手工写了一个流程插件包。
包很小,一个 plugin.json,加一个随包脚本,串成三个节点。第一个节点叫 audit,AI 干活,逐单审核,把结果写成文件。第二个节点叫 gate,脚本关卡,它拿着原始报销单把六条规则从头重算一遍,再跟 AI 的结果逐单比对,对不上就退出码 2。第三个节点叫 publish,办结交付,它排在 gate 后面,gate 不放行它就执行不到。
节点定义就十几行 JSON,关键的三段长这样,audit 产出两份文件,gate 拿它们当输入,publish 排在最后。
导入的时候我先走错了一扇门。客户端「插件」页的导入只收对话制作的个人插件,我这个按官方文档手组的企业包要在管理端走「导入并送审」。
包先进隔离区,什么都不执行。管理员在详情抽屉里核对后点「审核并上架」,这条组织链路在本地单人部署下也是通的。
上架之后员工侧就能看到了。测试账号的插件页企业区出现「报销合规审核(门禁版)」,装上。
装好就能在对话里引用了,底部权限是完全访问,模型还是 deepseek-v4-flash。
设计里我最在意一个细节。关卡脚本不带任何标准答案,它就是拿着制度把 120 单重新算一遍。门禁不需要知道答案,门禁只需要会算账。这样它才能既当裁判又不泄题,AI 就算把工作区翻个底朝天也偷看不到什么。
插件包就两个文件。plugin.json 定流程:audit 节点(AI)读单据和制度、逐单审核,产出审核结果.csv,另复制一份报销单副本供复核;gate 节点(脚本)拿副本和审核结果当输入,调随包的 check_expense.py;publish 排在 gate 后面,只有放行才轮得到它。check_expense.py 不含任何标准答案,只做两件事:按六条规则从副本重算每单对错,再和审核结果逐单比对——列结构不符、单号重复、漏审多审、结论对不上,任何一条都 exit 2,全对才 exit 0。源码随文附上。
门禁第一次发威
第一遍搭需求走了岔路(需求对话里的「/需求·新建需求」是让 AI 代写需求,不挂插件),推倒重来,这次从需求池的正门走。左上角进需求池,点新建需求。
需求内容、完成标准自己写死,别让 AI 代笔——这一轮连需求都得按真实口径来。
先落收集箱,准备好后移到待开始。
在待开始的卡片上点「安排执行」,这才弹出真正的工作台。
执行设置里选插件「报销合规审核(门禁版)」。这里有个坑留到后面说,一开始关联工程列表是空的,插件一度显示「暂不可用」。
关联工程、确认,需求详情里出现插件工作台和三节点流程,启动前只收集它必填的两项,资料文件夹和产出文件夹,填完确认并启动。
然后就是见证时刻。运行日志有两个地方值得抄下来。一个是开场的踉跄,执行机跑在 WSL 里看不到 Windows 路径,它自己拐到 /mnt/d 绕了过去。另一个更好玩,审计节点开工前先到处找随包的复核脚本,找到安装好的插件包直接解开,先自己把门禁跑了一遍。
然后它逐单审核,交卷。gate 节点独立重算 120 单,逐单比对,退出码 0,放行,办结。第三轮一次过闸。
到这里你可能会说,那这道闸没派上用场啊。别急,最硬的证据在后面。审计节点里那个 AI 交卷之前,自己动手验证了门禁是不是真的会拦,它做了五轮反向测试。翻转一张单的结论,拦,还指名道姓说哪张单错了。删掉一张单,拦,报出缺的是哪张。复制一张单,拦重号。清空一张退回单的违规项,拦。把列名改掉,拦列结构。五种篡改,五次 exit 2,无一漏网。
它还嫌不够,另写了一套不复用原代码的实现重新重算 120 单做交叉核对,零差异;连「这批数据没有一单同时命中两条规则」都专门排雷了一遍,确认是数据特性不是漏判。
老实交代一件事,官方文档说流程支持从失败的节点继续、断点恢复,这次门禁一次放行,没触发返修,这条我没实测到。实测到的只有流程的另一句承诺,运行锁定插件版本和绑定,跑起来之后升级插件不会让进行中的流程漂移。
收尾时的需求池长这样,自己收单验收后走到了已完成。
最后把三轮的数放一张表里收口:
| 轮次 | 条件 | 漏网单数 | 误伤单数 | 汇报里提没提 |
|---|---|---|---|---|
| 第一轮 | 制度给全 | 0 | 0 | 全对,如实报 |
| 第二轮 | 制度藏起 | 7 | 15 | 声明了阈值是推定,自创规则没提 |
| 第三轮 | 流程插件 | 0 | 0 | 全对;并反向测试门禁,5 种篡改全部拦截 |
谁来数第二遍
跑完这轮,我把「怎么拦住报喜不报忧的 AI」这个问题的三种答案摆在一起想了想。
最顺手的是让它自己再查一遍。成本最低,但自己查自己,错是同源的,它第一遍理解歪的规则,第二遍照样歪。这次实测就是现成的例子,无制度那一轮它的汇报开头就写着「金额合计校验一致」,校验的是它自己发明的那套规则,自洽得很。
阔气一点的是再雇一个 AI 互查。SoduWork 官方也有对应设计,独立的审查节点,文档还挺自觉,明说它不能自我授权(官方说法)。但两个模型对着糊弄出同样的错,也不是没可能,而且 token 直接翻倍。
我最后信的是笨办法,脚本关卡。它不理解业务,不会安慰你,也不会解释为什么差一点就算了。规则写成算式,算不过就是不过。写脚本要花一次性的功夫,换来的是同样输入永远同样结果,这个性质 AI 给不了。
当然它也有边界,脚本只能验算得动的东西。像「这个客户到底该不该请」这种判断题,闸门帮不了你,还得人自己来。官方自己也承认几件事,方法型插件的关卡靠 Agent 自觉执行不是平台强制,核查本身要多花 token,对照实验是小样本(引用)。另外官方没说、我替它补充的是部署摩擦,这条单人本地部署跑通流程插件的路,我自己数了数过了七道坎,客户端导入走错门(个人插件和企业包是两套入口、两套预检)、上架了还要绑定、绑定完还要在线 Runner、Runner 的虚拟环境要建在客户端实际运行的那份目录而不是源码目录、脚本节点必须挂项目仓库、登记仓库要么接 GitLab 要么走接口、合并分支不填就静默判不可用。每一层都有治理上的道理,代价是单人部署也得走完全程,把这些坎记下来,是我觉得这篇对本地部署的人最有用的部分。
所以这篇的适用范围其实挺清楚的。你有写得成文的规则,错一回代价不小,活还得高频重复,报销审核、名单核对、数据口径校验这一类,这套「AI 干活,脚本把关」值得搭。规则本身说不清、全靠临场判断的活别硬上,先把规则想清楚比什么都强。
复现
生成脚本、评分脚本,还有流程插件包,发布时全部随文附上,固定种子,数据可以完全复现,你跑出来的漏网单数理论上应该和我一样,欢迎对着验。
源码在 github.com/mdiri-ai/So…,MIT 开源,本地一条命令就能跑起来。要觉得给 AI 上门禁这思路有用,顺手点个 Star。你自己跑的时候踩到什么新坑,Issue 区见。
回到开头那个问题。AI 报「全部审完」的时候,谁在替你数第二遍。这篇的答案是,让一个它管不了的脚本去数。它不会累,不疲劳,也不在乎 AI 的汇报写得多漂亮。