原帖引用 · AI 翻译
标题：“面向长时程工具使用的演化式自调节基准测试”
斯坦福大学和 Google DeepMind 的一篇新论文表明，可以通过针对模型演化现有任务，将过于简单的工具使用基准测试变成困难但仍可解的测试。
AppWorld 之类的工具使用基准测试是静态的，因此模型很快就能完成其中大多数任务，而构建新任务需要人工投入。
TURTLE 使用 AlphaEvolve 改造现有任务，加入筛选条件、额外步骤和隐蔽的查找操作，然后让求解模型对每项任务运行 10 次。求解模型的成功率约为 50% 时，任务得分最高，而且每项任务都必须至少被成功完成 1 次。
原始 AppWorld 任务中有 69% 总能被 Gemma 4 31B-it 完成，而演化后的 735 项任务几乎全部处于 40% 至 60% 的完成率区间。一个大语言模型评判器将 52.5% 的演化后任务评为困难，原始任务的这一比例为 19.8%。
如果你的模型在某项基准测试中表现出色，就把其中的任务朝着 50% 的成功率演化，而不是从头编写新的基准测试。
原文
New Stanford and Google DeepMind paper shows that you can turn too-easy tool-use benchmarks into hard, still-solvable tests by evolving existing tasks against the model. Tool-use benchmarks like AppWorld are static, so models soon solve most tasks, and building new ones takes human work. TURTLE uses AlphaEvolve to mutate existing tasks, adding filters, extra steps and hidden lookups, then runs the solver model 10 times on each. Tasks score highest when the solver succeeds about 50% of the time, and each must be solved at least once. 69% of original AppWorld tasks were always solved by Gemma 4 31B-it, while nearly all 735 evolved tasks sat at 40% to 60% completion. An LLM judge rated 52.5% of evolved tasks hard, versus 19.8% of the originals. If your model aces a benchmark, evolve its tasks toward a 50% success rate instead of writing a new benchmark from scratch.