原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
加州大学洛杉矶分校与东北大学的一篇新论文发现,AI 智能体约 18% 的输出 token 是可以删去的冗余内容,删去它们几乎不会影响任务成功率。
智能体的费用通常按 token 总量计算。但这个数字无法告诉你哪些 token 发挥了作用,哪些只是重复了一项策略、重新获取了某个文件,或走进了死胡同。
研究人员让智能体的调用经过一个代理,并请一个大语言模型充当评审,标记出删去后不会损失有用内容的文本片段。然后,他们删去这些片段,重新运行智能体,以检查是否有功能受影响。
在 6 个前沿模型和 4 项基准测试中,约 18% 的输出 token 属于冗余内容。在 SWE-bench Verified 上,删去 Kimi-K3 推理过程中的重复和填充内容后,其输出 token 减少了 41%,成功率仍为 89.5%,相比之下,删减前为 89.0%。
要降低智能体成本,应找出任务和运行框架中产生冗余内容的环节,而不是只限制 token 数量。
· UTC+8