aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

UCLA 与 Northeastern University 研究发现 AI 智能体约 18% 的输出 token 可删减

AI 导读

一篇 UCLA 与 Northeastern University 的论文研究了 AI 智能体的 token 浪费:研究者标记可删除的输出片段,再让智能体重新运行,检查任务是否受影响。在 6 个前沿模型、4 项基准测试中,约 18% 的输出 token 被判定为冗余;其中一项测试删减 Kimi-K3 的重复和填充内容后,成功率为 89.5%,原先为 89.0%。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

– https://t.co/tYUhIGrpLN

标题:“AI 智能体如何浪费你的钱?”

回复Rohan Paul@rohanpaul_ai
译文
加州大学洛杉矶分校与东北大学的一篇新论文发现,AI 智能体约 18% 的输出 token 是可以去除的浪费,删掉它们几乎不会影响任务成功率。 智能体的费用通常按 token 总数计算。这个数字无法告诉你哪些 token 发挥了作用,哪些只是重复了一项策略、重新获取了一个文件,或走进了死胡同。 他们让智能体调用经由一个代理服务器,并由一个 LLM 评判哪些文本片段可以删除而不损失有用的工作。然后,他们删除这些片段并重新运行智能体,以检查是否有任何问题。 在 6 个前沿模型和 4 个基准测试中,约 18% 的输出 token 属于浪费。在 SWE-bench Verified 上,删去 Kimi-K3 推理中的重复内容和填充内容后,推理部分减少了 41%,成功率仍为 89.5%,而删减前为 89.0%。 要降低智能体成本,应找出任务和运行框架在哪些环节造成浪费,而不是仅仅限制 token 数量。
原文

New UCLA+ Northeastern University paper finds that about 18% of AI agent output tokens are removable waste, and cutting it barely hurts task success. Agent bills are usually measured as total tokens. That number can't tell you which tokens did useful work and which just repeated a policy, refetched a file, or went down a dead end. They route agent calls through a proxy and have an LLM judge mark spans that can go without losing useful work. Then they delete those spans and rerun the agent to check nothing breaks. Across 6 frontier models and 4 benchmarks, about 18% of output tokens were waste. Pruning repetition and filler from Kimi-K3's reasoning removed 41% of it on SWE-bench Verified, and success stayed at 89.5% versus 89.0%. To cut agent costs, find where your task and harness create waste instead of just capping tokens.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错