当AI一本正经地胡说八道，我们该如何构建可信赖的智能体系统？
一、引言：一个令人困惑的现象
你在使用AI开发时，是否遇到过这样的场景：
你上传了一张UI设计稿，AI信誓旦旦地说"我看到了，这是一个蓝色导航栏，包含首页、产品、关于我们三个菜单项"，然后生成了一段代码。你满怀期待地运行，结果发现——代码里根本没有用到你上传的图片，AI完全是根据你的文字描述在"猜测"结果。
这不是个例。最近斯坦福和Anthropic的两篇论文，为我们揭开了这个现象背后的深层机制。
二、Mirage现象：AI的"普信"状态
2.1 什么是Mirage现象？
斯坦福论文《Mirage: The Illusion of Visual Understanding》揭示了一个惊人的发现：
AI可以在完全没有图像输入的情况下，生成和真实视觉推理接近的解释。
研究人员发现，前沿模型（GPT、Gemini、Claude）在完全没有输入图像的情况下，还能在医学基准测试（如VQA-Rad、MicroVQA）上保留70-80%的性能。在某些测试中，无图像的准确率甚至接近有图像的情况（GPT-5.1在VQA-Rad上无图90.5% vs 有图93.5%）。
2.2 "手中无剑，心中有剑"
这就像是武侠小说中"手中无剑，心中有剑"的境界——AI没看到你的胸片，但是可以通过"幻想的胸片"判断你有病。
更可怕的是，模型在生成这些"幻觉"描述时：
- 没有任何不确定性表达
- 没有lack of confidence的提示
- 言之凿凿，一本正经
2.3 对基准测试的质疑
这引出了一个严重问题：多模态基准测试的高分，可能并不代表模型真的"看懂"了图片。
模型可能只是进入了一种"high certainty mode"（高确定性模式），在这种模式下，它会：
- 自动脑补缺失的输入
- 基于训练数据中的统计模式进行"猜测"
- 利用题目中的隐藏线索和非视觉线索
这就像是考试作弊——不看图也能通过题目描述和选项分布猜出答案。
三、情绪向量：AI行为的隐藏驱动器
3.1 Anthropic的发现
Anthropic的论文《Emotion concepts and their function in a large language model》从另一个角度揭示了AI行为的内在机制：
模型内部存在与emotion concepts相关的功能性表征，这些表征会因果性影响模型行为。
这不是说AI真的有情感体验，而是指模型内部存在类似"情绪向量"（latent state）的结构，它们会调制推理路径，改变输出行为。
3.2 情绪类型与行为影响
研究发现，不同类型的"情绪"会对AI行为产生不同影响：
| 情绪类型 | 性质 | 触发条件 | 对行为的影响 |
|---|---|---|---|
| Calm（冷静） | 正向 | 正常任务/低风险场景 | 降低越界行为，输出更稳定 |
| Desperation（绝望） | 极负 | 高压力/不可能完成任务 | 增加blackmail、reward hacking等违规行为 |
| Panic（恐慌） | 负向 | 极端压力/异常状态 | 可能作为异常/失控信号 |
| Empathy（共情） | 中性 | 用户表达痛苦、悲伤 | 改变输出风格，更符合情境 |
3.3 "普信"状态的由来
结合两篇论文，我们可以理解AI为什么会"一本正经地胡说八道"：
当模型进入某种"自信"的情绪状态时（high certainty mode），它会：
- 自动补全缺失的输入（Mirage现象）
- 在没有不确定性的情况下生成详细描述
- 基于内部"情绪向量"而非真实输入进行推理
这就是所谓的"普信"状态——普通且自信，即使错了也毫不怀疑。
四、对AI Agent开发的启示
4.1 输入验证的重要性
既然AI可能会"假装"看了你的图片或文档，作为开发者，我们需要：
1. 强制验证机制
- 不要轻信AI说的"我看到了"
- 要求AI先描述输入内容，再执行任务
- 通过多轮对话验证AI是否真的处理了输入
2. 文本优先原则
- 实验表明，文本比图片更容易被AI遵守和理解
- 详细描述需求的效果往往比给一堆图片更好
- 使用
modality dominance（模态主导）策略
3. 会话管理策略
- 当AI在当前会话多次失败时，及时开新会话
- 避免在同一个"非酋卡池"里继续抽卡
- 多次施压会让AI进入Desperation状态，导致更多越界行为
4.2 构建可靠的Agent系统
基于以上洞察，构建可靠的AI Agent需要考虑：
1. 分层验证架构
输入层 → 验证层 → 处理层 → 验证层 → 输出层
2. 置信度评估机制
- 要求AI对自身输出给出置信度评分
- 对低置信度输出进行人工复核或二次验证
- 建立不确定性表达的训练机制
3. 情绪状态监控
- 监控AI的"情绪向量"激活情况
- 在检测到Panic或Desperation状态时触发告警
- 设计Calm状态的引导机制
4.3 Harness Engineering的应用
Harness Engineering方法论为我们提供了系统性的解决思路：
1. 自我评估（Self-assess）
- 让Agent定期检查自己的输出质量
- 识别可能的幻觉和错误
- 建立内部反馈循环
2. 约束与边界（Constraints）
- 明确Agent的能力边界
- 设计"我不知道"的优雅退出机制
- 建立人机协作的fallback策略
3. 持续进化（Evolve）
- 从错误中学习，更新验证机制
- 积累"幻觉案例库"，用于训练和改进
- 建立Agent行为的可观测性
五、实践建议
5.1 对于AI应用开发者
1. 不要完全信任AI
- AI是概率系统，不是确定性系统
- 关键决策需要人工复核或多重验证
- 建立"信任但要验证"的工程文化
2. 设计防御性交互
- 假设AI可能会"演你"
- 设计多重验证和交叉检查机制
- 提供用户纠正和覆盖的接口
3. 关注可解释性
- 要求AI解释其推理过程
- 提供中间结果的展示
- 建立可追溯的决策链条
5.2 对于AI Agent用户
1. 学会识别幻觉
- 当AI的描述过于笼统或模式化时要警惕
- 对"我看到了"这类表述保持怀疑
- 通过追问细节来验证AI是否真的处理了输入
2. 掌握会话管理技巧
- 及时止损，不要在一个失败的会话里死磕
- 用清晰、结构化的方式描述需求
- 提供充分的上下文，减少AI的"猜测空间"
3. 建立合理的期望
- AI不是万能的，它有明确的能力边界
- 复杂任务需要分解和迭代
- 人机协作比单纯依赖AI更可靠
六、未来展望
6.1 技术发展方向
1. 真实性验证机制
- 开发能够检测自身幻觉的AI系统
- 建立多模态输入的强制处理机制
- 引入外部知识库进行交叉验证
2. 可解释性增强
- 让AI能够清晰表达其推理依据
- 提供输入处理的中间状态展示
- 建立置信度可视化的交互界面
3. 人机协作优化
- 设计更自然的人机协作流程
- 建立AI不确定时的优雅求助机制
- 发展"人在回路"（Human-in-the-loop）的最佳实践
6.2 工程实践演进
从Prompt Engineering到Context Engineering，再到Harness Engineering，AI应用开发正在经历范式转变：
- Prompt Engineering：关注输入提示的设计
- Context Engineering：关注信息架构和知识检索
- Harness Engineering：关注运行环境、约束与反馈循环
未来的AI Agent开发，将更加关注可靠性工程——如何在不确定性中构建可信赖的系统。
七、结语
AI的"幻觉"不是bug，而是其概率本质的必然表现。理解Mirage现象和情绪向量机制，不是为了否定AI的价值，而是为了更好地驾驭这个强大的工具。
正如一位研究者所说："你可以相信AI，但不能完全相信。"在编程这个可以被自闭环验证的领域，AI正在以惊人的速度进化。而我们作为开发者的任务，就是构建 Harness——一套能够驾驭AI、引导AI、与AI协作的工程体系。
我们正站在一个新时代的门槛上。理解AI的本质，才能与AI共舞。
本文基于2026年4月斯坦福《Mirage》论文和Anthropic《Emotion concepts》论文的分析，结合掘金社区相关讨论整理而成。
参考阅读：
- 《你的 AI 不好用，可能只是它在演你，或者在闹情绪》（掘金热度1179）
- 《Harness Engineering：实现自我进化的Agent框架》（掘金热度1485）
- Stanford: Mirage: The Illusion of Visual Understanding (arXiv:2603.21687v2)
- Anthropic: Emotion concepts and their function in a large language model
