假设一个网页 Agent 收到任务:
在 CarMax 上寻找一辆 2022 年的 Tesla Model 3。
当前页面并没有搜索框,但模型仍然生成:
TYPE "Tesla Model 3"
selector: //input[contains(@placeholder, "Search make, model, or keyword")]
这不是普通的文字回答错误。Agent 正准备对一个不存在的网页元素执行动作。
2026 年 11 月 13 日提交、11 月 16 日出现在 arXiv recent 列表的论文《Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination》,尝试从模型内部解释这种失败。论文原文
作者得到了一组看似矛盾的结果:
- 线性探针在模型开始生成前,就能以 0.80 AUC 预测这一步是否会幻觉;
- 沿探针方向干预,最多修正 85.4% 的幻觉动作;
- 但只把可用动作从 JSON 换成编号 Markdown,同一干预的修正率就降到 58.1%;
- 对注意力头和 FFN 的局部干预,最多只修正 8.9%。
这篇论文最值得关注的不是“找到一个消除 Agent 幻觉的开关”,而是它揭示了更棘手的问题:能预测失败、能改变输出,仍然不等于已经解释了失败机制。
需要先说明,论文目前是 arXiv 预印本。本文中的实验数字均来自作者报告,尚不能视为独立复现或跨模型成立的结论。
1. 什么是网页元素幻觉
研究中的 Web Agent 每一步会看到:
- 用户任务;
- 当前网页的简化 DOM;
- 之前的动作历史;
- 当前页面允许执行的动作列表。
动作空间被限制为 CLICK、SCROLL、TYPE 和 HOVER。系统根据当前网页生成候选动作,模型应从列表中选择一个。
如果模型生成的动作不在候选列表中,就被定义为 element hallucination,例如:
- 点击页面上不存在的按钮;
- 向不存在的输入框输入内容;
- 编造一个没有出现在候选列表里的 XPath;
- 根据“网站通常应该有这个功能”行动,而不是根据当前页面行动。
这种幻觉往往不是乱码。它可能语法完整、意图合理,只是与真实环境不一致。
论文观察到的常见模式是:模型已经决定采用“搜索”“探索”或“查找”策略,于是生成能够实现策略的页面元素,即使当前网页根本没有该元素。
2. 实验对象和数据规模
作者使用 Qwen2.5-7B-Instruct,在 Online-Mind2Web 的真实网站环境中收集轨迹。每个任务最多允许 10 次网页交互。
最终数据包含:
| 项目 | 数量 |
|---|---|
| Episode | 300 |
| 动作 | 2071 |
| 幻觉动作占比 | 32.6% |
线性探针按照 episode 划分 70%/15%/15%:训练集 1433 个动作,开发集 282 个动作,测试集 356 个动作。按 episode 而不是随机动作划分,可以减少同一条轨迹同时进入训练和测试造成的信息泄漏。
研究只覆盖一个底层模型、一个 Web Agent 数据源和一种失败定义。后文所有“有效”都应放在这个实验范围内理解。
3. 作者到底检查了模型内部的什么
论文主要使用四类机械可解释性方法。
3.1 组件干预:哪些注意力头或 FFN 在推动幻觉
作者逐个放大 FFN 输出,或者给单个注意力头加入噪声,观察合法动作概率如何变化;之后再组合干预若干注意力头和 FFN。
如果幻觉主要集中在少数模块中,那么定位这些模块并改变它们的贡献,应该稳定改善结果。
实验没有发现这样一个简单电路。
最好的组合是增强第 22 层全部注意力头,同时减弱第 22—24 层 FFN:
修正幻觉:8.9%
破坏正常动作:2.4%
另一组配置会同时带来较高修正和较高破坏。这说明合法动作与幻觉动作的计算可能分布在多个组件中,局部开关无法完整解释行为。
3.2 Activation patching:哪些输入区域真正影响决定
作者分别扰动并恢复:
- selector 起始位置;
- 任务描述;
- 可用动作列表。
恢复动作列表在第 27 层 residual stream 中,最多找回 0.36 的 P(Search) 概率质量;另外两个输入区域的恢复量低于 0.02。
这支持一个因果判断:当前可用动作列表确实影响模型是否产生搜索类幻觉。
但“动作列表重要”还不是完整解释。模型究竟利用了列表的哪个属性、为什么忽略某个合法动作、为何转而编造搜索框,仍然无法定位。
而且输入依赖会随轨迹变化。如果同一个 selector 已经出现在早先动作历史中,破坏当前动作列表后,模型还可能从历史里恢复它。
3.3 线性探针:内部状态能否区分幻觉和正常动作
作者在 28 层 residual stream 的三个位置分别训练探针:
prompt_end 模型还没有生成任何输出
selector_start 准备开始生成 selector
selector_value_start 准备生成 selector 的具体值
最引人注意的结果出现在 prompt_end:第 18 层线性探针在测试集上取得 0.80 ROC-AUC。
也就是说,在模型输出第一个动作 token 之前,其隐藏状态中已经存在能够线性区分“接下来会幻觉”与“接下来会合法行动”的信号。
这不意味着探针能百分之百判断单个样本,也不意味着第 18 层就是幻觉发生的唯一位置。AUC 衡量的是分类排序能力;0.80 说明两类分布存在明显可分信号,不是准确率 80%。
3.4 表征引导:沿探针方向改变激活
探针找到一个区分两类样本的方向后,作者沿该方向修改模型内部表征,再观察输出是否改变。
在原始 JSON 动作列表格式下,selector_start 第 17 层方向、干预强度 的结果是:
幻觉修正率:85.4%
正常动作破坏率:7.0%
这个结果比局部组件干预强得多,说明探针方向不只是被动相关,其中包含对输出具有因果作用的信息。
但它仍不等于找到了一个纯粹的“幻觉特征”。接下来的格式实验揭示了问题。
4. 只改 Prompt 格式,干预效果就明显下降
作者没有改变任务、页面或 selector,只把动作列表从 JSON 改成编号 Markdown,并要求模型使用相应格式回答。
同一个第 17 层 steering vector 在 时变为:
| 格式 | 修正率 | 破坏率 |
|---|---|---|
| 原始 JSON | 85.4% | 7.0% |
| 编号 Markdown | 58.1% | 7.0% |
修正率下降 27.3 个百分点,破坏率几乎不变。探针在格式迁移后的预测能力也明显下降。
如果这个方向只编码“模型将要编造网页元素”,列表排版不应造成如此大的变化。更合理的解释是:探针方向同时纠缠了幻觉信号和 JSON 动作格式的表示。
这暴露出线性探针的经典边界:
探针能读出某种信息
≠
该方向只表示我们命名的概念
≠
该方向能跨分布稳定工作
对 Agent 来说,分布变化尤其常见。工具 Schema、DOM 摘要方式、系统 Prompt、历史压缩和动作序列都会改变内部表示。
5. 为什么稀疏自编码器也没有给出清晰答案
作者还把预训练 Sparse Autoencoder(SAE)应用在 Qwen2.5-7B-Instruct 第 27 层,试图寻找区分幻觉与合法动作的可解释特征。
结果中差异最大的特征,主要提升与网页元素幻觉无关的 token,没有形成清晰、可命名的解释。
论文给出的原因是分布不匹配:SAE 从普通文本激活中学习特征,而 Agent 行为中的目标跟踪、动作选择和多步环境交互不一定在训练语料中以相同方式出现。
这并不能证明 SAE 对所有 Agent 分析都无效,只说明“拿一个文本上预训练好的 SAE,直接套在网页交互轨迹上”没有在该实验中得到可解释结果。
6. 为什么 Agent 比静态问答更难解释
论文总结了三个传统机械可解释性假设在 Agent 场景中的困难。
Localizability:问题未必集中在少数位置和组件
主谓一致、事实回忆等窄任务有时能找到少量关键注意力头或 FFN。Web Agent 的决策却同时依赖任务、页面、动作列表和历史,计算分散在多个位置。
局部干预能改变输出,却难以重现自然发生的、语义完整的策略幻觉。
Stationarity:每一步的输入分布都在变化
Agent 执行一个动作后,网页状态和上下文都会变化。合法轨迹与幻觉轨迹很难构造只相差一个因素的“干净反事实”。
论文尝试移除原本选择的合法动作,只有 38% 的案例转为幻觉;而且下一步开始,两个轨迹就发生级联分叉,难以继续对齐比较。
Temporal locality:决定可能在错误出现前已经形成
幻觉 selector 真正输出之前,模型可能已经根据早期页面和动作历史形成策略承诺。只检查出错 token 附近的激活,会错过更早的决策过程。
0.80 AUC 的生成前探针正好说明:故障信号可能已经存在,但它怎样从历史逐步形成,仍没有被解释。
7. “预测、干预、解释”是三个不同层次
这篇论文可以用三个问题来阅读。
能预测吗?
可以。在相同数据分布中,线性探针能在生成前以 0.80 AUC 区分两类动作。
能干预吗?
部分可以。最优探针方向报告了 85.4% 修正率,同时破坏 7% 正常动作。
已经解释了吗?
还没有完全解释。
因为:
- 具体责任分散在多个组件和输入位置;
- 探针方向与动作格式纠缠;
- SAE 没有提取出清晰特征;
- 不同轨迹缺少结构一致的反事实;
- 研究没有说明信号怎样跨多个时间步形成。
因此,论文标题使用的是疑问句“Can Mechanistic Interpretability Help Explain...”,而不是宣称已经找到了网页幻觉的统一机制。
8. 对 Agent 工程最直接的启示
机械可解释性仍处于研究阶段,但论文暴露的问题可以转化成几条工程防线。
8.1 不要让模型自由编写可执行 selector
既然系统已经生成了当前页面的动作列表,执行层就应只接受列表中存在的 action_id:
{
"action_id": "a17",
"value": "Tesla Model 3"
}
运行时根据 action_id 查找真实 selector。模型没有权限直接提交任意 XPath,能显著缩小幻觉进入执行层的空间。
8.2 执行前做硬校验,而不是只在 Prompt 中提醒
if action_id not in current_action_registry:
return {
"error": "ACTION_NOT_AVAILABLE",
"allowed_actions": current_action_registry.summary(),
}
“只能从列表选择”如果只写在 Prompt 中,仍然是软约束;运行时 allowlist 才是硬边界。
8.3 失败后重新感知,不要不断放大同一策略
如果元素不存在,Agent 应重新抓取页面状态并重新规划,而不是继续围绕“页面应该有搜索框”的假设尝试不同 selector。
可以为同一意图设置失败预算:连续两次 ACTION_NOT_AVAILABLE 后,强制回到 perception 节点。
8.4 把动作格式也视为模型版本的一部分
论文中仅改变 JSON 与 Markdown 排版,就让内部探针效果明显下降。评测 Agent 时,应固定并记录:
- 系统 Prompt 版本;
- DOM 摘要器版本;
- 动作列表格式;
- 工具 Schema;
- 历史裁剪策略;
- 模型和推理参数。
否则“同一个模型”的两次实验可能并不处于同一输入分布。
8.5 保存完整轨迹,而不只保存最终失败动作
幻觉决定可能在更早步骤形成。审计记录至少要把:
任务 → 页面观察 → 候选动作 → 模型选择 → 执行结果
按时间串起来。只有最终 XPath,无法分析模型是否从早期历史继承了错误策略。
9. 为什么不建议现在把线性探针当生产防线
看见“生成前 0.80 AUC、修正 85.4%”,很容易想到:在每一步运行探针,发现风险就修改激活。
目前至少有四个障碍:
- 实验只在 Qwen2.5-7B-Instruct 上完成,不能直接迁移到闭源模型或其他规模;
- 探针需要访问中间激活,许多模型 API 不提供;
- 格式轻微变化就造成明显退化;
- 干预会破坏一部分原本正确的动作,强度更高时破坏率可迅速上升。
因此,当前更现实的顺序是:
先做外部动作约束与执行校验
↓
再用轨迹评测定位失败类型
↓
最后把内部探针作为研究与诊断工具
这不是否定机械可解释性,而是区分研究信号和生产控制器需要达到的鲁棒性标准。
10. 结果还存在哪些外推边界
阅读这组结果时需要保留以下限制:
- 论文是尚未独立复现的预印本;
- 只测试了 Qwen2.5-7B-Instruct;
- 数据只有 300 个 episode、2071 个动作;
- 研究对象是 Online-Mind2Web 的网页元素幻觉,不代表代码 Agent、RAG Agent 或机器人具有相同机制;
- 幻觉被定义为动作不在候选列表中,未覆盖“动作存在但业务目标错误”等失败;
- 最优 steering 结果来自特定层、位置、强度和原始格式;
- 格式迁移实验已经证明方向存在分布敏感性;
- 组件干预和探针提供的是部分因果证据,还没有形成完整轨迹级机制。
论文的价值恰恰在于没有掩盖这些失败:它展示了现有 MI 工具在哪些地方有效,也展示了把静态文本分析方法搬到动态 Agent 时会撞上什么边界。
结语
这项研究给出的答案不是“网页 Agent 幻觉位于第 17 层”,而是更复杂的图景:
失败信号在生成前已经出现
探针可以读出并部分操纵它
但信号分散在多组件、多位置和多时间步
而且与 Prompt 格式纠缠
因此,0.80 AUC 证明内部状态具有预测信息,85.4% 修正率证明该方向具有一定因果作用,格式变化后的退化则提醒我们:这仍不是一个稳定、纯粹、可跨场景复用的“幻觉开关”。
对于 Agent 开发者,眼下最可靠的做法仍是从系统边界入手:只允许执行真实存在的动作、在运行时硬校验、失败后重新感知、完整记录轨迹。
机械可解释性带来的新机会,是让我们逐渐看见失败在模型内部何时形成、怎样形成;它还没有替我们省掉外部工程防线。