aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

UCLA 与 Northeastern University 研究发现 AI 智能体约 18% 的输出 token 可删减

AI 导读

研究人员通过代理记录智能体调用,让语言模型标出可能删去的片段,再删除并重跑任务检验结果。在 6 个前沿模型和 4 项基准测试中,约 18% 的输出 token 被判为冗余;一项针对 Kimi-K3 的实验删去 41% 的相关推理内容后,任务成功率为 89.5%,对照为 89.0%。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

加州大学洛杉矶分校与东北大学的一篇新论文发现,AI 智能体约 18% 的输出 token 是可以删去的冗余内容,删去它们几乎不会影响任务成功率。

智能体的费用通常按 token 总量计算。但这个数字无法告诉你哪些 token 发挥了作用,哪些只是重复了一项策略、重新获取了某个文件,或走进了死胡同。

研究人员让智能体的调用经过一个代理,并请一个大语言模型充当评审,标记出删去后不会损失有用内容的文本片段。然后,他们删去这些片段,重新运行智能体,以检查是否有功能受影响。

在 6 个前沿模型和 4 项基准测试中,约 18% 的输出 token 属于冗余内容。在 SWE-bench Verified 上,删去 Kimi-K3 推理过程中的重复和填充内容后,其输出 token 减少了 41%,成功率仍为 89.5%,相比之下,删减前为 89.0%。

要降低智能体成本,应找出任务和运行框架中产生冗余内容的环节,而不是只限制 token 数量。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错