正文 · AI 翻译
概览 开发者日复一日在相同的代码库中使用 AI 编码智能体,但智能体往往每次会话都从头开始:重新发现熟悉的事实、加载用不到的工具,并重复无效的方法。TokenEconomizer 是一个开源插件,它从智能体过去在某个代码库中的会话中学习,以减少未来会话中的浪费,而无须修改智能体或其底层模型。在 277 项真实的错误修复任务中,TokenEconomizer 使多种 AI 编码智能体的成本降低了 18.4–30.9%。在所有测试过的代码库中,成本均有所下降,而任务成功率总体保持稳定。AI 编码智能体越来越多地帮助开发者基本独立地修复错误和构建功能,但智能体与模型的每次交互都会消耗 token。在每次会话中,智能体都会向模型发送指令、工具描述和会话历史。大多数降低这一成本的尝试都聚焦于单个任务。然而,开发者会反复回到同一代码库,这让智能体有机会从以往的工作中学习。如果没有这种学习能力,智能体可能会反复重新摸索如何运行测试、加载从未使用的工具,或花费数十轮对话反复处理同一个错误。在我们的论文《TokenEconomizer:通过经验驱动的黑盒成本控制来优化编码智能体》中,我们提出一个简单的问题:在某个代码库中积累的经验,能否帮助智能体更高效地解决未来的任务?TokenEconomizer 是加州大学伯克利分校、微软研究院和微软安全部门推出的开源插件,它将已完成的会话转化为后续会话的指导信息。它在不改变智能体或其底层模型的情况下减少浪费,因此开发者可以将其与已有的编码智能体配合使用。图 1. 每次完成的会话都会让 TokenEconomizer 学到有关代码库的信息,从而使后续会话消耗更少的 token。Token 消耗在哪里 我们首先分析了 Claude Code 在 SWE-Bench 的 60 项任务中的表现。SWE-Bench 是一个基于开源 Python 项目真实错误修复任务的基准测试;我们按顺序运行了每个代码库中的任务。反复出现的浪费有三类:重复发现相同的事实。在一个代码库至少完成五项任务后,30% 的工具调用重复了该代码库中先前任务的某项操作。只有 7% 与其他代码库历史中的某项操作相符。为未使用的工具付费。智能体每一轮都会收到 23 个工具描述,但其中 16 个工具从未被调用。陷入失败困境。失败的任务占 17%,却占总支出的 32%。我们还测试了三个流行的开源插件,每个插件都采用固定的省钱策略。它们各自在某些代码库中降低了成本,但在其他代码库中没有。综合来看,这些发现表明,有效的成本控制必须适应具体的代码库,而不能在所有地方套用同一种策略。播客系列 Ideas 聆听微软研究社区的成员讨论推动其研究的信念、为其提供启发的经历与思想家,以及研究所追求的积极人类影响。立即收听 在新标签页中打开 TokenEconomizer 的工作原理 每次会话结束后,TokenEconomizer 都会读取会话日志,并更新它对代码库的了解。随后,它仅通过智能体已有的接口,借助图 2 所示的三种机制发挥作用。微技能以单行笔记记录代码库特有的知识。TokenEconomizer 识别跨会话反复出现的模式,并提出相应的笔记。只有当多个会话证实某个模式后,相应笔记才会被加入智能体的初始上下文;如果后续证据与之矛盾,该笔记就会被移除。工具裁剪会移除代码库历史表明智能体不太可能使用的工具,同时始终保留运行命令和编辑文件所需的核心工具。如有需要,被移除的工具可以恢复。失败循环干预会监测智能体是否反复遭遇同样的失败。一个评判模型会判断智能体是否真的陷入困境,还是仍在取得进展。如果确实陷入困境,智能体会收到一条简短提示,建议尝试不同的方法。在这个开源插件中,如果智能体收到提示后仍然受困,TokenEconomizer 会提醒开发者,而不是自行停止工作。图 2. TokenEconomizer 与未经改动的编码智能体协同工作。微技能添加学到的事实,工具裁剪精简已加载的工具,失败循环干预则引导受困的工作转向。每次完成的会话都会更新这三个机制。该控制器的设计使其能够随着新证据的出现修正决策。报告的节省金额也计入了 TokenEconomizer 自身模型调用的成本。在每个代码库中节省成本 我们使用五种不同的 AI 编码智能体与模型组合,在六个代码库的 277 项 SWE-Bench 任务上评估了 TokenEconomizer。对于每个代码库,TokenEconomizer 一开始都没有先前的会话历史。如图 3 所示,TokenEconomizer 使平均成本降低了 18.4–30.9%,并且在全部 30 个代码库与组合的配对中都实现了最高节省,同时没有造成性能损失。相比之下,降低模型的推理强度虽然节省了相近或更多的成本,却导致性能显著下降。图 3. 在 SWE-Bench 上,TokenEconomizer 使五种智能体与模型组合的每项任务平均成本降低了 18.4–30.9%(左),同时其中四种组合的 Pass@1 有所提高(右)。随着经验积累,节省幅度会增加。在 TokenEconomizer 学习的初期,任务的成本可能更高,但如图 4 所示,在每个代码库中,到第六项任务时,累计成本都已低于默认设置。每种机制单独使用都能节省成本,而三者结合带来的降幅最大。图 4. 使用 Claude Code 时,每个代码库的各项任务相对于默认设置的累计成本变化。即使从零历史开始,到第六项任务时,每个代码库的成本都变得更低。在连续进行的网页开发任务中,成本也降低了 16.0–21.2%,这一节省效果同样出现在 Web-Bench 上。在每项任务都位于新代码库的安全审计中,成本降低了 6.4–19.6%。展望未来 TokenEconomizer 为编码智能体开辟了一条道路:它们不仅学习如何解决任务,也学习如何更有效地使用计算资源。其轻量级控制器展示了如何在不改变底层智能体或模型的情况下,利用经验提高效率。这个开源插件让开发者和研究人员能够探索这些方向。它旨在与现有的 AI 编码智能体配合运行,无须修改其底层模型,不需要自己的 API 密钥,并将学到的信息保存在开发者的机器上。我们邀请社区以它为起点,探索能够随着经验积累变得更善于利用资源的智能体,让它们既能调整自己的工作方式,也能扩充自身的知识。阅读论文 获取代码 查看项目 在新标签页中打开 文章《TokenEconomizer:从经验中学习,让 AI 编码智能体更高效》最先发表于微软研究院。