原帖引用 · AI 翻译
标题：“你不需要长上下文”
NVIDIA 的一篇新论文发现，AI 智能体通过频繁压缩历史记录来保持较短的上下文时，准确率几乎不会下降。
随着上下文增长，生成每个新 token 的成本也会增加。使用 256K 上下文窗口而非 16K 上下文窗口提供开放模型服务时，每个生成 token 的成本高出 3.6 至 7 倍。
他们让智能体在达到设定的上限时停下，写一份简短的交接说明，然后只带着任务和这份说明重新启动。对于长文档，智能体使用 Bash 工具搜索文件，而不是一次性读完所有内容。
在 6 项长时程基准测试中，每个模型的 22 种上下文压缩设置里，至多有 5 种的得分比保留完整历史记录低超过 2 分。每次操作后都压缩上下文时，Claude Opus 4.5 在 SWE-bench Verified 上的成绩为 70.2%，而保留完整历史记录时为 70.0%。
在为长上下文付费之前，先给智能体提供结构化的交接说明和文件搜索工具，然后检查短上下文能否达到你所需的准确率。
原文
New NVIDIA paper finds that AI agents barely lose accuracy when they keep contexts short by compacting their history often. Each new token costs more to generate as the context grows. Serving open models at a 256K context window instead of 16K cost 3.6x to 7x more per generated token. They had agents stop at a set limit, write a short handoff note, and restart with only the task and that note. For long documents, the agent searched files with Bash tools instead of reading everything at once. On 6 long-horizon benchmarks, at most 5 of 22 compaction settings per model lost more than 2 points versus full history. Compacting after every action kept Claude Opus 4.5 at 70.2% on SWE-bench Verified, versus 70.0% with full history. Before paying for long context, give agents a structured handoff note and file search tools, then check if short contexts match your accuracy.