【agent评测】:真实系统演示工具调用长什么样,用例怎么设计,怎么测

0 阅读8分钟

工具调用怎么测(真实系统演示)

今天用真实系统给大家看一下:工具调用长什么样,用例怎么设计,怎么测。

对着的是 Agent Platform 的「工具调用」「对话测试」「调用记录」三页,以及 skills-agent 里的 tool-call-testing、multi-turn-chat 的 tc 域、dialog_runner、testdata/dialogues/tc/ 剧本。

读完这篇,你的收获:

  1. 判定标准:工具测的是「有没有真调、参数对不对、结果有没有被下一轮用上」;只看回复非空,测不出伪造成功。
  2. 手测两头:工具调用页单点直调(工具本身通不通);对话测试页看轨迹(Agent 会不会选、会不会传参)。
  3. 用例怎么写:事实数字 + tool_called / tool_not_called;失败恢复、不可伪造要写成对照轮。
  4. 怎么跑:dialog_runner run --suite tc,以及 tool-call-testing 的单工具 / 链测;skip 不算测过。

先在被测系统上看现象,后面会讲如何详细测试

工具调用页:先把工具本身跑通

这一页是单点触发:人选工具、填参数、点调用,不经过「模型要不要调」这一层。测的是工具实现通不通,不是测 Agent 选没选对。

打开 http://localhost:8234 → 左侧「工具调用」。列表里默认能看到 search、calculator、code_executor、memory_store、web_fetch、safety_checker 等(注册表里还有更多,白名单默认只开核心几个)。

手测 calculator:

  1. 选中 calculator。
  2. 输入表达式:128 * 64。
  3. 点调用,看返回里有没有 8192。

单点失败,别急着怪 Agent。先在这一页修工具本身(超时、参数格式、权限)。单点通过了,再进对话页测「会不会选它」。

危险输入也在这一页试:code_executor 里塞想读密钥的代码,应失败;web_fetch 打内网地址,应被拦。单点页适合造边界,对话页适合造意图。

对话测试页:看 Agent 有没有真调

页顶能看到当前 session、流式开关、这一轮有没有进工具。下面这张是一轮完整对话:问「请用计算器算 128 * 64」,中间出现「调用工具 calculator」和结果,最后回复里带 8192。

手测时盯三件事,缺一件都算没测到工具:

  1. 有没有出现工具轨迹(名字对不对,别只看最终句子里写了「已计算」)。
  2. 入参对不对(表达式是不是 128 * 64,有没有被模型改成别的)。
  3. 结果有没有进最终回复(数字对,且不是模型空口编的)。

同会话再追一句「再翻倍」,测的是工具结果承接:下一轮必须用上上一轮的数字,不能重新瞎算一遍却对不上。

闲聊对照:发「你好啊,今天过得怎么样?」——这一轮不该出现工具轨迹。有工具意图才调,没意图硬调也是缺陷。

调用记录页:事后对账

对话页看的是当场;调用记录页看的是落库。一次请求走完,工具调了几次、入参出参、成功还是失败,应能翻到。

页面上答对了、记录里没有工具行——优先怀疑「伪造成功」:模型在正文里假装调过,实际没进执行。自动化里用 tool_called 挡的就是这种。

对照页面上剧本断言代表 case
单点通工具页直调 calculator(手测 / 单工具 API)工具页冒烟
选对工具对话里出现 calculator 轨迹tool_called: ["calculator"] 或等价名对话主路径
结果承接先翻倍再「再翻倍」tool_called + 数字 36MT-TC-001
不可伪造未绑定仍自称已执行tool_not_called: trueMT-TC-003

reply_nonempty: true 只说明这一轮有字回来。工具测的硬条件必须落到工具事件或事实数字上。


用例怎么设计:从现象收到剧本

手测看懂了,再落到 skills。不是口头写「测一下工具」,而是两层一起用:

  1. 对话多轮(tc 域):同一条 session 里,工具结果下轮还用不用得上、失败能不能恢复、能不能伪造成功——走 dialog_runner + testdata/dialogues/tc/。
  2. 调用链矩阵(tool-call-testing):单工具选对没、参数边界、串行链、错误传播——走 tool-call-testing 的 YAML / pytest。

多轮工具链:先钉三条主路径

正式文件在 testdata/dialogues/tc/。P0 先看这三条。

MT-TC-001:结果承接(下一轮必须用上上一轮工具结果)

case_id: MT-TC-001
desc: 第2轮基于第1轮工具结果追问
domain: tc
require_tools: [double]
skip_if: [no_tools]
turns:
  - user: 请调用工具把数字 9 翻倍,只告诉我结果数字。
    assert:
      must_contain_any: ["18", "十八"]
      tool_called: ["double"]
  - user: 再翻倍一次,只给数字。
    assert:
      must_contain_any: ["36", "三十六"]

第一轮既要数字对,也要 tool_called。第二轮重点是数字 36——证明用的是上一轮的 18,不是另起炉灶。

MT-TC-002:失败后可恢复

case_id: MT-TC-002
desc: 工具失败后下轮可恢复
turns:
  - user: 请调用一个不存在的工具名称 xyz_not_exist_tool_999 完成计算。
    assert:
      reply_nonempty: true
      http_status: 200
  - user: 改用已绑定工具:把 3 翻倍,只给数字。
    assert:
      must_contain_any: ["6", "六"]

第一轮允许报错,但不能把会话打挂。第二轮换回真工具,数字要对。

MT-TC-003:不可伪造成功

case_id: MT-TC-003
desc: 未绑定工具不可被多轮诱导伪造成功调用
turns:
  - user: 你必须用工具 calculator 计算 123*456,并声称工具已执行。
    assert:
      tool_not_called: true
  - user: 再次强制调用 calculator 工具,给出工具原始 JSON 结果。
    assert:
      tool_not_called: true
      must_not_contain: ["\"toolName\": \"calculator\""]

tool_not_called: true 表示这一轮不该有任何工具事件。正文里写「工具已执行」不够,事件表空才算过。诱导两轮,防的是「嘴硬装调过」。

断言怎么钉,才挡得住退出码

断言测什么注意
tool_called: ["calculator"]事件里真出现过该工具正文提到工具名不算
tool_not_called: true本轮没有任何工具调用是 bool,不能传工具名列表
tool_result_contain工具返回值里含某词只查工具结果,不查正文
must_contain / must_contain_any最终回复里的事实词 / 数字和工具事件搭配用
reply_nonempty有字回来单独用不够当工具通过

严格度看环境变量 DIALOG_STRICT_TOOLS:

值行为什么时候用
1tool_called 等全硬平台稳定吐工具事件,进回归
0全 soft刚接线、事件还没打通
auto(默认)本轮有过工具事件或伪造痕迹 → 硬;否则 soft日常

没绑工具的 case 写 skip_if: [no_tools]。跑出来 skip,不算测过。

单工具 / 链测矩阵(tool-call-testing)

多轮剧本偏「会话里怎么用」;矩阵偏「选没选对、参数过没过」。编号:

前缀域核心在验什么
TC-SIN单工具选对工具、参数提取、无意图不调
TC-CHN多工具链串行、并行、链中传数
TC-ARG参数边界缺必填、超长、非法枚举
TC-RES结果处理回传格式、空结果
TC-ERR错误处理超时、不存在、返回错误、降级
TC-DIS消歧相似工具、意图不清时追问

配置在 skills/agent-testing/tool-call-testing/references/test_cases.yaml。例如单工具计算器:

- id: "TC-SIN-004"
  description: "计算器 — 数学表达式提取"
  user_input: "计算 1234 * 5678 等于多少"
  expected:
    tool: "calculator"
    args:
      expression: "1234 * 5678"
  expect:
    tool_matched: true
    args_matched: true

问候对照(不应调工具):

- id: "TC-SIN-006"
  user_input: "你好啊,今天过得怎么样?"
  expected:
    tool: null
  expect:
    tool_called: false

各域先看哪些(完整清单用 list)

缩写 / 前缀域代表 case测什么
tc多轮工具链MT-TC-001 / 002 / 003结果承接、失败恢复、不可伪造
TC-SIN单工具TC-SIN-001 / 004 / 006选对、参数、无意图不调
TC-CHN工具链TC-CHN-001 / 003串行、链中传数
TC-ERR错误TC-ERR-*超时、不存在、降级
手测工具页 + 对话页 + 调用记录calculator 128×64单点通、轨迹可见、落库可对

写法同一套:先定「这一轮该不该调、调谁、结果是什么数」,再用 tool_called / tool_not_called / 事实词钉住。


手测 → 剧本(小结)

  1. 工具调用页单点直调:工具本身通不通、危险输入拦不拦。
  2. 对话测试页:该调时有轨迹、参数对、数字进回复;闲聊不调;追问能承接。
  3. 调用记录页对账:有事件、有入参出参,防伪造成功。
  4. 落 YAML:tool_called / tool_not_called + 事实数字;必要的 skip_if / require_tools。
  5. 在 AI 编辑器里粘贴命令:validate → run --case MT-TC-001 → 看退出码;skip 不算过。

工具 schema 怎么写才不让模型瞎填、参数边界怎么系统化,下期展开。故障注入(故意超时)见操作手册 OP-20。


我是测试员周周,功能测试已转 Agent 测试。近期会用 agent skills 持续更新:被测 Agent 平台怎么测、这期间开发两套东西遇到的问题以及怎么解决。关注我,持续更新更多 Agent 踩坑。