Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-11-09 07:36 · Original publication time AI score54

Stanford and Google DeepMind paper proposes evolving tool-use benchmark tasksMachine translation

AI introduction

TURTLE modifies existing tasks with filters, extra steps and hidden lookups, then tests each task against a solver model 10 times, favoring tasks with about a 50% success rate that are still solvable. In an AppWorld test with Gemma 4 31B-it, nearly all 735 evolved tasks had completion rates of 40%–60%; the material does not establish the same result for other models.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

斯坦福大学和 Google DeepMind 的一篇新论文表明，通过针对模型演化现有任务，可以将过于简单的工具使用基准测试变成困难但仍可解的测试。

AppWorld 等工具使用基准测试是静态的，因此模型很快就能解决大多数任务，而构建新任务需要人工投入。

TURTLE 使用 AlphaEvolve 改造现有任务，加入筛选条件、额外步骤和隐藏查询，然后让求解模型对每个任务运行 10 次。求解模型的成功率约为 50% 时，任务得分最高，而且每个任务都必须至少被解决 1 次。

在原始 AppWorld 任务中，69% 总能被 Gemma 4 31B-it 解决，而演化出的 735 个任务几乎全部处于 40% 至 60% 的完成率区间。一个大语言模型评审将 52.5% 的演化任务评为困难，而原始任务中这一比例为 19.8%。

如果你的模型在某项基准测试中表现出色，就让其中的任务朝着 50% 的成功率演化，而不是从零开始编写新的基准测试。

07:36 · 2026-11-09 · UTC+8

Found an error? Send a correction