Stanford 与 Google DeepMind 论文提出演化工具使用测试任务的方法

斯坦福大学和 Google DeepMind 的一篇新论文表明，通过针对模型演化现有任务，可以将过于简单的工具使用基准测试变成困难但仍可解的测试。

AppWorld 等工具使用基准测试是静态的，因此模型很快就能解决大多数任务，而构建新任务需要人工投入。

TURTLE 使用 AlphaEvolve 改造现有任务，加入筛选条件、额外步骤和隐藏查询，然后让求解模型对每个任务运行 10 次。求解模型的成功率约为 50% 时，任务得分最高，而且每个任务都必须至少被解决 1 次。

在原始 AppWorld 任务中，69% 总能被 Gemma 4 31B-it 解决，而演化出的 735 个任务几乎全部处于 40% 至 60% 的完成率区间。一个大语言模型评审将 52.5% 的演化任务评为困难，而原始任务中这一比例为 19.8%。

如果你的模型在某项基准测试中表现出色，就让其中的任务朝着 50% 的成功率演化，而不是从零开始编写新的基准测试。