aifollow.news
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

UCLA and Northeastern University study finds about 18% of AI agent output tokens can be removedMachine translation

AI introduction

Researchers routed agent calls through a proxy, used an LLM to identify removable spans, then deleted them and reran the agent to check the outcome. Across six frontier models and four benchmarks, about 18% of output tokens were judged waste. In a Kimi-K3 experiment, pruning removed 41% of the cited reasoning content, while task success was 89.5% versus 89.0%.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

加州大学洛杉矶分校与东北大学的一篇新论文发现,AI 智能体约 18% 的输出 token 是可以删去的冗余内容,删去它们几乎不会影响任务成功率。

智能体的费用通常按 token 总量计算。但这个数字无法告诉你哪些 token 发挥了作用,哪些只是重复了一项策略、重新获取了某个文件,或走进了死胡同。

研究人员让智能体的调用经过一个代理,并请一个大语言模型充当评审,标记出删去后不会损失有用内容的文本片段。然后,他们删去这些片段,重新运行智能体,以检查是否有功能受影响。

在 6 个前沿模型和 4 项基准测试中,约 18% 的输出 token 属于冗余内容。在 SWE-bench Verified 上,删去 Kimi-K3 推理过程中的重复和填充内容后,其输出 token 减少了 41%,成功率仍为 89.5%,相比之下,删减前为 89.0%。

要降低智能体成本,应找出任务和运行框架中产生冗余内容的环节,而不是只限制 token 数量。

Source: Rohan Paul · x.com

Research
Found an error? Send a correction