Agent 开发中做好上下文工程管理,核心是管控大模型输入的上下文窗口,保障智能体稳定、高效、低成本运行。Agent 会持续执行工具调用、多轮思考、记忆读写,对话内容会不断累积,若无管理,上下文会快速膨胀,超出模型窗口上限,引发截断丢失关键指令、历史任务信息,导致 Agent 逻辑错乱、任务跑偏。
同时冗余上下文会拉高 token 消耗,推高调用成本,拉长推理耗时。通过上下文工程,可做摘要压缩、重要信息留存、无效信息过滤、记忆分层,保证核心系统提示、任务目标、工具约束始终有效。既避免信息过载,又防止关键业务信息丢失,让 Agent 在长任务循环中,持续正确理解目标,稳定调用工具输出可靠结果。
1.2 Context Rot:窗口越大越好是错觉
很多人的第一反应是:"现在模型窗口都到 1M、2M token 了,还需要管理上下文吗?全塞进去不就行了?"这个直觉是错的,而且错得很危险。
Context Rot(上下文腐化)是指:随着上下文长度增加,模型准确召回和利用信息的能力会逐步下降。这不是某个模型的个别问题,而是所有大语言模型的普遍现象。NVIDIA 的 RULER benchmark 系统性地测试了各模型在不同上下文长度下的表现,结论是:有效上下文窗口大约只有宣传窗口的 50-65%。
主流模型有效窗口对比(NVIDIA RULER benchmark)
| 模型 | 宣传窗口 | 有效窗口(RULER) | 建议压缩启动点 |
|---|---|---|---|
| Claude Opus 4.6 | 200K / 1M | 130-200K / 600-700K | 100K / 256K |
| GPT-5.4 | 272K(标准)/ 1M+(实验性) | ~170-200K | 150K |
| Gemini 3.1 Pro | 1M(输入)/ 64K(输出) | 600-700K | 256K |
| DeepSeek V3.2 | 128K | 80-90K | 60K |
| DeepSeek V4 | 1M(输入) | 600-700K | 256K |
数据来源:NVIDIA RULER benchmark(2024年4月发布的长上下文评估方法论,其核心结论——模型真实有效窗口约为宣称窗口的 50-65%——在 2026 年仍被 Stanford HELM、Iternal 选型指南等广泛引用)。上表中的具体模型参数为 2026-04 当期数据,非论文原始数据。
注释:
- GPT-5.4 的 1M+ 窗口为实验性功能,需在 API 中配置
model_context_window,超过 272K 的请求按 2x 费率计费- Gemini 3.1 Pro 于 2026 年 2 月发布为 Preview 版本,输入窗口 1M tokens,输出窗口 64K tokens
这张表的工程含义非常明确:购买 1M 窗口不等于可以塞入 1M token 的信息。行业实践表明:即使使用 1M 窗口的模型,也应在 256K token 以下就开始启动主动压缩。不要等到 API 返回报错才处理——那时候 Agent 的推理质量早就严重下降了。
来源说明:256K 压缩启动建议来自多个长上下文模型的实践经验总结(如 Gemma 4 的 256K 上下文窗口设计、Kimi K2 的 256K 原生支持),这一阈值已成为行业共识。
踩坑预警:有效窗口误判是新手最常犯的错误。"我买了 1M 窗口的 API" 不等于 "我的 Agent 可以处理 1M token 的信息"。后果是 Agent 在长对话中表现急剧退化(忘记早期指令、重复生成、工具调用失败),但开发者找不到原因,因为 API 并没有报错。正确做法:用 NVIDIA RULER 或类似 benchmark 测试你的模型在目标长度下的实际表现,在有效窗口的 80% 处设置压缩启动阈值。排查方向:如果 Agent 在长对话中表现异常,先检查当前上下文 token 数是否已超过有效窗口。
1.2.1 动手验证:Context Rot 效果演示
光看表格数据还不够直观。我们用一段代码来亲眼看看 Context Rot 的效果——同一个事实性问题,在"干净上下文"和"被噪声稀释的上下文"中分别提问,对比模型的回答质量。
# === Context Rot 效果演示:噪声稀释如何降低回答准确率 ===
# 1. 定义一个明确的事实(用于测试模型在不同上下文长度下的召回能力)
key_fact = "项目代号为'北极星',总预算是 42 万元,负责人是张明,截止日期是 2026 年 8 月 30 日。"
question = "请问项目预算是多少?负责人是谁?"
# 2. 场景A:干净上下文(事实 + 问题,无噪声)
clean_prompt = f"以下是项目信息:\n{key_fact}\n\n{question}"
# 3. 场景B:噪声稀释上下文
# 模拟 Agent 真实场景中积累的三类噪声:过往对话、工具调用结果、无关文档
noise_history = """用户:帮我查一下服务器的 CPU 使用率。
AI:当前服务器 CPU 使用率为 73%,内存占用 12.4GB/32GB,磁盘 I/O 正常。建议关注 worker-3 节点,其
负载比其他节点高 20%。
用户:那数据库的慢查询情况呢?
AI:过去 24 小时共 47 条慢查询,其中 38 条来自 analytics_dashboard 模块的聚合查询,平均耗时 3.2 秒。建议
对 events 表的 created_at 字段添加复合索引。
用户:部署一下新版本的认证服务。
AI:已执行部署流程。认证服务 v2.4.1 已推送至 staging 环境,3 个实例均健康检查通过,平均启动耗时 8.7 秒。需要
我继续推到 production 吗?
用户:先不推了,帮我看看上周的错误日志趋势。
AI:上周错误日志总量 1,247 条,较前一周下降 15%。Top 3 错误类型:TimeoutError(412条)、
ConnectionResetError(298条)、ValidationError(187条)。TimeoutError 集中在每日 14:00-16:00 高峰期。"""
noise_tool_results = """[工具调用: search_codebase]
搜索关键词: "database connection pool"
结果: 找到 7 个匹配文件
- backend/db/pool.py: 连接池配置,max_connections=50, min_connections=5
- backend/db/session.py: SQLAlchemy session 工厂,使用 scoped_session
- tests/test_db.py: 数据库连接池压力测试,模拟 200 并发
[工具调用: read_file]
文件: config/production.yaml
内容摘要: Redis 缓存 TTL 设为 3600 秒,RabbitMQ 消息队列配置了死信交换机,Elasticsearch 索引保留策略为 30
天自动清理。日志级别 WARNING,Sentry DSN 已配置。
[工具调用: run_tests]
执行: pytest tests/api/ -v --timeout=30
结果: 42 passed, 3 skipped, 1 xfailed in 28.7s
跳过原因: test_oauth_callback 需要外部 OAuth 服务, test_rate_limit 需要 Redis, test_webhook
需要公网回调地址。"""
noise_docs = """## 微服务架构迁移指南(内部文档 v3.1)
团队决定将单体应用拆分为 12 个微服务。第一阶段优先拆分用户服务、订单服务和支付服务。服务间通信采用 gRPC
+ Protocol Buffers,异步消息走 RabbitMQ。API 网关选用 Kong,服务发现基于 Consul。每个服务独立数据库
(Database per Service 模式),跨服务查询通过 CQRS 事件同步。监控方面采用 Prometheus + Grafana
+ Jaeger 链路追踪。CI/CD 管道已配置自动化金丝雀发布,错误率超过 1% 自动回滚。
## 前端性能优化复盘(2026-Q1)
首屏加载时间从 4.2s 优化到 1.8s。主要措施:代码分割(React.lazy)减少首包 60%、图片转 WebP 节省 40% 带宽、
关键 CSS 内联、Service Worker 预缓存静态资源。LCP 从 3.1s 降到 1.4s,CLS 从 0.15 降到 0.03。移动端
Lighthouse 评分从 62 提升到 91。但 TBT 仍然偏高(380ms),主要瓶颈在第三方分析脚本,下季度计划延迟加载。"""
# 组装噪声:对话历史 + 工具结果 + 文档片段(模拟真实 Agent 上下文)
noise = f"""--- 以下是之前的对话和工具调用记录 ---
{noise_history}
--- 工具调用结果 ---
{noise_tool_results}
--- 相关文档片段 ---
{noise_docs}"""
noisy_prompt = f"{noise}\n\n--- 当前任务 ---\n项目信息:{key_fact}\n\n{question}"
# 4. 分别调用 LLM 并计时(对比回答质量和响应速度)
import time
results = {}
for label, prompt in [("干净上下文", clean_prompt), ("噪声稀释上下文", noisy_prompt)]:
tokens = count_tokens(prompt)
start = time.time()
response = llm.invoke(prompt)
elapsed = time.time() - start
results[label] = {
"输入 token": tokens,
"回答": response.content[:200],
"耗时(秒)": round(elapsed, 2),
}
# 5. 对比输出
print(f"{'场景':<12} | {'输入 token':>10} | {'耗时':>6} | 回答摘要")
print("-" * 85)
for label, r in results.items():
print(f"{label:<12} | {r['输入 token']:>10} | {r['耗时(秒)']:>5}s | {r['回答'][:80]}")
| 场景 | 输入 token | 耗时 | 回答摘要 |
|---|---|---|---|
| 干净上下文 | 68 | 1.51s | 项目预算是 42 万元,负责人是 张明。 |
| 噪声稀释上下文 | 1117 | 1.98s | 根据当前项目信息,项目“北极星”的总预算为 42 万元,负责人是 张明。 |
运行后你会看到:干净上下文只需几十个 token,模型精准回答"42 万元、张明";而噪声稀释后输入 token 膨胀到数千,模型的回答可能出现遗漏、含糊甚至错误。这就是 Context Rot 的直观体现——不是模型变笨了,而是关键信息被淹没在噪声中。
如何解读输出:对比两个场景的输出,重点关注三个指标:(1)输入 token 数的差异(通常是 10-50 倍);(2)耗时的增加(噪声场景通常慢 2-5 倍);(3)回答的准确性(干净上下文几乎 100% 准确,噪声场景可能遗漏关键信息或给出模糊答案)。
实际应用场景:在真实的 Agent 系统中,累积的对话历史和工具调用记录就是这些"噪声"。当 Agent 运行 50+ 轮对话后,如果不做任何管理,上下文中会充斥着大量已过时的工具返回结果、早期的错误尝试、重复的用户问题——这些信息持续稀释着真正重要的当前任务信息。这就是为什么即使模型宣称支持 1M 窗口,我们也必须在 256K 以下就启动主动压缩。
1.3 鱼缸模型:上下文窗口的全局视角
现在我们知道了上下文窗口是有限的、是会"腐化"的。那么,窗口里到底装了些什么?这些信息从哪里来、各自占多大空间?为了回答这个问题,我们引入一个核心隐喻——鱼缸模型。
把上下文窗口想象成一个透明的鱼缸。鱼缸的容积是固定的(有效窗口大小),里面的水代表上下文内容。鱼缸中央有一条金鱼,代表 Agent 的推理引擎——它需要在清澈的水中才能看清环境、做出正确判断。问题是,有六根管道不断往鱼缸里注水,每根管道注入不同类型的信息:
这个模型揭示了上下文管理的核心矛盾:六根管道持续注水,但鱼缸容积有限。水位越高,水越浑浊(Context Rot),金鱼(推理引擎)就越看不清。一旦水位超过有效窗口边界(图中红色虚线),Agent 的推理质量就会急剧下降。
这六根管道对应的就是上下文窗口的六大功能模块,它们是整门课的骨架:
.center { width: auto; display: table; margin-left: auto; margin-right: auto; }上下文窗口六大功能模块预览
| 编号 | 模块名称 | 隐喻 | 核心管理问题 |
|---|---|---|---|
| ① | 系统提示层(System Prompt Assembly) | Agent 的"操作系统" | 放什么人格和约束?如何缓存? |
| ② | 对话历史管理层(Conversation History Management) | Agent 的"短期记忆" | 保留多少轮?何时压缩? |
| ③ | 记忆检索注入层(Memory Retrieval & Injection) | 上下文的"供给侧接口" | 检索什么?注入多少? |
| ④ | 工具上下文管理层(Tool Context Management) | Agent 的"能力声明" | 加载哪些工具?描述占多少? |
| ⑤ | 任务状态层(Task State / Scratchpad) | Agent 的"工作笔记本" | 跨轮次状态怎么追踪? |
| ⑥ | 外部知识层(External Knowledge / RAG) | Agent 的"图书馆" | 检索什么文档?注入多少片段? |