Original post · AI translation
Rohan Paul@rohanpaul_ai
NVIDIA 的一篇新论文发现，AI 智能体通过频繁压缩历史记录来保持较短的上下文时，准确率几乎不会下降。
随着上下文变长，生成每个新词元的成本也会增加。以 256K 而非 16K 的上下文窗口运行开放模型时，每个生成词元的成本高出 3.6 至 7 倍。
研究人员让智能体在达到设定上限时停下来，写一份简短的交接说明，然后仅凭任务和这份说明重新开始。对于长文档，智能体使用 Bash 工具搜索文件，而不是一次读完所有内容。
在 6 项长周期基准测试中，每个模型的 22 种上下文压缩设置里，最多只有 5 种的得分比保留完整历史记录低超过 2 分。每次操作后都压缩上下文时，Claude Opus 4.5 在 SWE-bench Verified 上的成绩为 70.2%，保留完整历史记录时则为 70.0%。
在为长上下文付费之前，先为智能体提供结构化的交接说明和文件搜索工具，再检查短上下文能否达到所需的准确率。
· UTC+8