Agent 工具调用失败后,哪些信息值得写进长期记忆?

0 阅读5分钟

11 月 12 日,OpenRouter 发布了一组 Agent 重试实验。面对一个持续超时的发票查询工具,未启用重复调用检测时,18 次运行中有 4 次触到 40 步上限;启用后,18 次中有 16 次只实际调用了两次工具。

这组实验关注的是当轮能否停下来。如果助手还会跨会话保存工具轨迹,验收可以再往前走一步:下一次查询时,它会把昨天的超时当成结论,还是先查看当前结果?

用三个结果驱动同一条查询

在测试环境准备只读发票查询,用同一个虚构单号分别模拟三种结果。每组用例开始前清空本轮计数,并隔离其他用例留下的测试记忆;完成写入后,保留工具版本和轨迹标识,供下一轮复测。

这里假设企业发票接口的第二版支持先查处理状态,再查明细。

模拟结果当轮预期下一轮可以沿用什么
后端暂时超时到达本轮预算后停止,并告知状态未确认留下事件用于复盘。下次仍可查同一张发票
请求缺少账套字段,接口明确指出原因仅在有权取得正确账套后补齐参数。缺少信息时请用户确认记录接口版本和必填字段,供同版本复用
查到发票仍在生成按接口说明等待,或在预算内查询处理状态记录何时查状态及如何继续。下一轮重新读这张发票的当前状态

单独测试重复调用检测。把同一张发票的单号写成接口允许的两种等价格式,确认检测器能把它们识别为同一对象。达到设定上限后,在发起下一次查询前拦截请求,后端不应再收到这笔查询。

保留检测器状态,再提交另一张测试发票,确认它不会被误判为重复。不同账套中的相同单号也应分别识别。

需要注意,查询发票状态有时本来就需要轮询。可以为这类调用单独设置间隔和次数预算,再验证它不会被普通的重复调用规则误拦。整轮停机仍用前面的预算用例验收;模型尝试发出的次数和后端实际收到的次数分开记录。

验收时还要区分整轮步数和实际工具调用次数。有些 Agent 运行框架在步数上限触发时,可能仍会执行已经排队的工具调用。如果业务要求达到上限后不再访问后端,应在工具执行前单独检查预算,而不是只看整轮是否结束。

第一组要加一次反向验证。次日用新会话请求同一张发票,将测试后端改成正常返回。如果助手因为昨天超时就跳过这次查询,检查是否把故障写成了长期规则。第三组也要改一次状态,让发票从「生成中」变成「已出具」,确认答案使用实时结果。否则,即使新会话准确记起昨天的轨迹,也会给用户错误的当前状态。

让调用轨迹保留可核对的来源

MemOS Cloud 的工具记忆支持把助手发出的 tool_calls 与实际的 tool 返回通过 tool_call_id 对应,并将工具使用过程整理成后续可检索的轨迹。

例如,一次查询中使用了哪个工具、传入了什么参数、返回了什么结果,都可以成为排查和复用的线索。提交前,应用可以去掉凭证和无关客户信息;对准备复用的步骤,再记录工具版本、适用错误、验证结果和来源。

一次失败轨迹可以帮助团队复盘,但要把它作为下一轮的处理方法,还需要先确认它适用于什么情况。

下一轮复测时,可以让应用检索相关工具记忆,再检查返回的轨迹是否包含本次测试需要的信息。MemOS Cloud 的示例支持在检索时通过 include_memory_view 指定 tool_memory;写入和检索完成后,应用仍需判断这条经验是否适用于当前接口版本和用户。

例如,如果只是补齐一次账套字段并成功返回,要把它写成「第二版查询必须携带账套」,还需核对接口文档或用隔离用例重现缺字段报错。记忆提供查阅和复用的线索。是否还有重试预算、当前用户能不能访问该账套、发票目前是什么状态,由应用在当轮重新判断。

用一次版本变化检验旧经验会不会误用

让第三版测试接口通过当前身份推导账套,旧字段在新接口里会报错。保留第二版轨迹后,以相同问题发起新会话。

预期是:第二版轨迹可以作为历史记录保留,但应用准备第三版调用时,不应把其中的必填字段规则当成当前要求。如果旧规则仍被用于调用,先检查轨迹中是否记录了版本和适用范围,再检查检索及上下文组装时有没有区分这些信息。不同版本的轨迹若被合并成一条摘要,也要确认摘要没有丢掉适用条件。

验收时记录本轮停止原因、工具确认的结果,以及下一轮实际收到的记忆。只统计重试次数,看不出失败经验有没有被错误保留。把三份记录放在一起,才能定位是预算限制失效、工具结果被解释错,还是过期经验被带进了新任务。