关注 霍格沃兹软件测试开发 公众号，回复「资料」, 领取人工智能测试开发技术合集
Agent 领域正在经历一次不太体面的祛魅。Demo 视频里流畅的多步推理、精准的工具调用、像模像样的交付物，一旦放进真实业务，往往在第三个回合就开始漂移，在第十个回合彻底失焦。问题不在于模型不够聪明，而在于绝大多数团队只跨过了“演示能跑”这一道坎，却不知道从“能跑”到“敢用”之间还横着四道门槛：评测、Harness、Skill、调度。每一道都是硬门槛，卡住的方式各不相同，跨过去的方法也已经在一线实践中逐渐清晰。
第一道门槛：评测——从“感觉对”到“事实成立”
第一道门槛卡住的是“怎么判断好坏”。大多数团队对 Agent 的评测停留在“跑几个 Case，人看一眼，觉得还行”。这在统计上毫无意义：Temperature 采样让同一输入每次输出不同，工具返回的非确定性让路径不可复现，多轮上下文漂移让终态正确可能只是运气。单跑一次比对答案，评测的其实是这一次采样，不是这个 Agent。
跨过这道门槛，需要三件事同时成立。
第一是评测目标分层。 美团图灵团队把评测拆成四层：Result（交付物是否可用）、Trajectory（路径是否收敛可复现）、Efficiency（Latency、Token、步数、成本）、Risk（越权、泄露、红线，一票否决）。关键洞察是：两个 Agent 终态都“正确”，一个靠稳定路径收敛，一个靠搜索空间暴力采样命中，在 Result 层完全不可区分，在 Trajectory 层差异巨大。这就是 Trajectory Evaluation 取代 Response Evaluation 的根本动因——评的不是答案，是到达答案的方式。
第二是评测标准本身要可靠。 美团的解法是 Rubric 二元化：把“口语化程度 0–10 分”这种连续模糊评分，下钻成一组二值断言——“是否以‘您’指代骑手？”“是否使用‘甭客气/明儿见’类词汇？”“是否包含‘吧/呢/那个’语气词？”每个断言独立计算 Cohen's κ，unknown 占比成为 Rubric 定义不充分的诊断信号。Beam 业务的人人一致率从 62% 提升到 92%，数字站长业务的人机一致率做到 99%。主观质量不是不能评，而是必须先被拆成可二元判断的事实。
第三是 Trace 先于评测。 看不见的问题几乎不可能被稳定解决。一次 Agent 执行链路至少要记录 Prompt 模板、工具调用决策、返回结果、Token 消耗和中间状态，日志格式兼容 OpenTelemetry，把 Trace 作为上线硬前提而非事后补课。离线用 Pass@k 取稳定结论、分层门禁嵌入 CI/CD；在线通过 Agent 迭代 Loop 与评测体系迭代 Loop 共享 Case 挖掘与归因入口。数字站长的指标从冷启动 20+ 扩展到近 200 个，不是白板设计出来的，是跑出来的。
这道门槛的本质，是把“好坏”从人的主观感受，变成可复现、可归因、可门禁的工程事实。
第二道门槛：Harness——运行时才是 Agent 的骨架
第二道门槛卡住的是“Agent 到底怎么跑”。很多团队以为 Agent 就是“模型 + 提示词 + 几个工具函数”，写一个 while 循环调工具就算完事。真做进生产系统，才发现权限、压缩、终止、人机插话每一个都是深坑。
六套主流 Harness 的横向对比揭示了同一循环在工程取舍上的分野。Claude Code 走单线程主循环 + 模块化服务：while(true) 六步流水线，只读工具并发、写状态工具串行，权限检查放在 PreToolUse hook 与规则引擎之间，接近窗口上限时自动压缩，先清旧工具输出再摘要对话。OpenCode 选择状态机 + Runner，Codex 在 Thread 内做 Turn loop，DeepSeek Harness 把循环做成可替换插件的 ReactLoopAgent，Pi 用扁平 while + 25 个 hook 把极简做到极致——仅 4 个工具、系统提示小于 1000 token。Hermes 则是 TAOR + 状态机的自进化闭环。
差异背后是四个同构的工程问题：
- 权限放在哪一层：Claude Code 用六层权限模型加 AST 分类器，Pi 干脆不做权限系统、把安全责任交还用户；
- 上下文怎么压缩：Claude Code 触发在窗口减 13K，Codex 在窗口 90%，Pi 在输入预算 50%；
- 循环什么时候结束：靠模型自判、靠最大步数、靠外部状态机，各有代价；
- 人能不能中途插话：这决定了 Agent 是“批处理作业”还是“可协作进程”。
没有“正确”的 Harness，只有与业务风险剖面匹配的 Harness。但共识正在形成：Agent = LLM + Harness。模型是大脑，Harness 是让行为可控的运行时——上下文管理、工具编排、权限门禁、状态持久化。这些东西的质量，决定了一个 Agent 能不能从“演示能跑”走到“天天能跑”。跨不过这道门槛的团队，会把大量时间花在修“为什么它又调错了工具”“为什么它忘了三步前说过的话”上，而这些问题的根因几乎都不在模型，在运行时。
第三道门槛：Skill——把业务约束编译成可执行契约
第三道门槛卡住的是“Agent 凭什么做对”。最常见的误区，是把 Skill 当成“提示词模板”来写：一段角色设定，几条注意事项，扔给模型自由发挥。结果就是换一个模型、换一个 Harness，行为立刻走样。
一线测试团队的经验点破了要害：测试经验散在老员工脑子里，质量标准随人员更迭剧烈波动。解法不是让 AI 去“模仿老员工”，而是把“测试嗅觉”拆成可执行、可度量的规则。一套覆盖需求分析、用例设计、缺陷排查、数据与 SQL、自动化构建、回归交付的 18 个 Skill，核心工程约束集中在两处：需求分析做“证据推断分离” ——把文档写明的、从架构推导的、模糊待确认的三层信息分开，严禁用个人臆断替代产品确认；用例断言做“三层规范” ——底层网络状态码、业务码、数据终态缺一不可，每个基础功能点强制“一条正向主干对应三条以上异常容错场景”。
这套约束的本质，是把主观判断降维成可审计的检查项，与评测层 Rubric 二元化的逻辑完全同构。
框架层面也在印证这一点。开源的 e2e（TesterArmy） 采用混合模式：稳定的步骤用传统 Playwright 代码，复杂多变的步骤交给 agent.act() 用自然语言驱动，单日曾揽下 1500+ star；TestSprite-cli 走 0 代码路线，用 JSON 文件描述测试计划（自然语言步骤 + 断言），在云端真浏览器和真 API 上执行，10 分钟生成首批 50-100 条端到端用例。两者路径不同，共同点是：Skill 的价值不在于“让模型自由发挥”，而在于把不确定性收束到明确的契约边界内。
智能问数场景展示了另一种形态：元数据 → 指标 → 思维链 → 分析报告的分层架构。元数据作为防幻觉基础，指标承担物理到虚拟的转换节点，CoT 串联指标与元数据形成业务逻辑链条，报告层用预置模板和纠偏围栏组装交付物。Skill 在这里不是一段提示词，而是一套带数据溯源、带中间校验、带模板约束的执行契约——先编排后执行，缺乏依据时不直接交付 SQL。
测试 Skill 和问数 Skill 指向同一个结论：Skill 的工程质量，取决于它承载了多少“被显式化的业务约束” 。约束越具体、越可二元判断、越能被中间状态校验，Skill 就越不依赖模型的临场发挥，也越容易在换模型、换 Harness 之后保持行为一致。创意侧同理——开源的 bb-video.skill 支持 22 种视频风格，原理是用代码写画面、无头浏览器逐帧渲染，效果高度依赖代码与审美，而非一句“帮我做个视频”。
第四道门槛：调度——把任务起点从人身上拿掉
前三道门槛解决的是“单个 Agent 怎么把一件事做好”，第四道门槛解决的是“一个人怎么管好一堆 Agent”。DeepSeek 在 Super-agent 设计里有一句被反复引用的话：一个人通常只能同时跟进 3 到 5 个活跃会话；单任务上限取决于模型能力，多任务上限取决于人的注意力。
独立开发者“数字生命卡兹克”用朱元璋的比喻把问题讲透了：废丞相后，六部直奏皇帝，八天 1660 件奏札、三千多件事，再勤快的人也绷不住。他的解法不是“更努力地盯 Agent”，而是自建一层自动化中台：所有事件先汇到中台，统一格式，按 rules.json 决定唤醒哪个 Agent、用哪个模型、开多深推理；Agent 在本地执行，Skill 沉淀每类任务的 SOP；自建 CI 五步流水线（审查、检查、合并、发布、核实）接管上线；只有删数据、停服、花钱、对外发消息这类拿不准的事，才通过飞书卡片推到人面前——他称之为“批奏折”。
这套设计的工程意义不在于“自动化了多少任务”，而在于把任务的发生起点从“人打开窗口下命令”迁移到了“事件触发” 。人的角色从“操作员”变成了“决策节点”：Agent 自行推进，只把需要拍板的事上升。这与评测层的“双 Loop”在结构上完全一致——系统自己发现问题、自己归因、自己修复回测，人守住门禁和红线。区别只在于，美团的门禁是 CI/CD 里的 Pass@k 阈值，个人开发者的门禁是飞书卡片上的那一下点击。
企业侧的实践则在补另一块拼图。Agent-Autoloop 把事件、Agent 执行、通知全部做成插件，核心是一个轻量中台内核；MOVO 基于 DeepSeek Harness 构建企业智能体平台，专注私有化部署、权限管控、多模型管理和运行溯源，目标是让 Agent 从 Demo 走向可治理的生产应用。调度层要解决的从来不是“怎么让 Agent 干活”，而是“怎么让人不再成为瓶颈、同时不失去控制”。
结语：四道门槛是乘法，不是加法
把四道门槛放在一起看，它们的耦合关系比想象中更紧。评测层用二元化 Rubric 和双 Loop 把“好坏”变成可复现的事实；Harness 层用运行时把模型的随机行为约束进可管理的边界；Skill 层把业务约束编译成带校验的执行契约；调度层把人的注意力从执行路径中解放出来，只保留关键决策位。
四者是乘法关系：没有评测，Harness 和 Skill 的迭代就是盲调；没有 Harness 和 Skill，评测只能停在“终态对不对”而无法追问“路径为什么对”；没有调度，再好的单 Agent 能力也会被 3 到 5 个会话的注意力瓶颈锁死；而没有 Skill 承载的业务约束，调度层放大的只是不确定性。
Agent 工程化正在告别“提示词玄学”的阶段。美团用 99% 的人机一致率证明主观质量可以被工程化，六套 Harness 的对比证明运行时设计有真实的取舍空间，一线团队用 18 个 Skill 和三层断言证明经验可以被结构化为可审计的规则，个人开发者和企业平台则证明“领导力式”的人机协同不是比喻而是可运行的架构。下一阶段的竞争，不在于谁先做出更聪明的 Demo，而在于谁能先把这四道门槛逐一跨过、并且让它们彼此咬合。跨不过去的，永远停在演示里；跨过去的，才谈得上生产。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
推荐阅读： juejin.cn/spost/76941…
