百万Token上下文，就是个骗局。
Chroma 这周甩出来一份报告，把 GPT-4.1、Gemini 2.5、Claude 4、Qwen3 等 18 个模型全拉出来测试，结果啪啪打脸：上下文一长，模型性能断崖式下跌。他们管这叫 Context Rot，上下文腐烂。
举几个扎心的点：
- 传统 NIAH（大海捞针）测试分数爆表，但你换个稍微模糊的问法，准确率直接腰斩
- 多轮对话跑到 500 条消息（约 12 万 token），Claude 全量版和精简版的性能差距大到离谱
- 让模型精确复现一个重复序列，从 500 个词开始就出错——不是抄错，就是幻觉
最骚的发现是：上下文里句子越乱、越没逻辑，模型反而表现越好。逻辑连贯的文本反而成了干扰项，因为注意力会被分散。
所以别再迷信「百万 Token 扔进去就能完美处理」了。
我自己的建议是：
1. RAG 该上还得上，别指望长上下文替代检索
2. 单次 prompt 控制在 32K 以内最稳，超过就考虑分段
3. 上下文工程（Context Engineering）才是新一年的真功夫，不是 prompt engineering
那些喊「扔一本书让 AI 总结全文」的同学，醒醒吧，模型的脑子真没那么大。
你们团队是怎么处理长上下文的？硬塞还是老老实实上 RAG？
Chroma 这周甩出来一份报告，把 GPT-4.1、Gemini 2.5、Claude 4、Qwen3 等 18 个模型全拉出来测试，结果啪啪打脸：上下文一长，模型性能断崖式下跌。他们管这叫 Context Rot，上下文腐烂。
举几个扎心的点：
- 传统 NIAH（大海捞针）测试分数爆表，但你换个稍微模糊的问法，准确率直接腰斩
- 多轮对话跑到 500 条消息（约 12 万 token），Claude 全量版和精简版的性能差距大到离谱
- 让模型精确复现一个重复序列，从 500 个词开始就出错——不是抄错，就是幻觉
最骚的发现是：上下文里句子越乱、越没逻辑，模型反而表现越好。逻辑连贯的文本反而成了干扰项，因为注意力会被分散。
所以别再迷信「百万 Token 扔进去就能完美处理」了。
我自己的建议是：
1. RAG 该上还得上，别指望长上下文替代检索
2. 单次 prompt 控制在 32K 以内最稳，超过就考虑分段
3. 上下文工程（Context Engineering）才是新一年的真功夫，不是 prompt engineering
那些喊「扔一本书让 AI 总结全文」的同学，醒醒吧，模型的脑子真没那么大。
你们团队是怎么处理长上下文的？硬塞还是老老实实上 RAG？
展开
评论
3
![[不失礼貌的微笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_16.9d17f6d.png)