Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-10-18 13:27 · Original publication time AI score54

Meta paper compares how efficiently frontier agents learn from experienceMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

With model weights frozen, the researchers let agents repeatedly play chess, Go, Hex and NetHack, rewriting their tools and notes after each round. In hard chess, Claude Fable 5 rose from 37.5% to 73.3% on held-out games; across chess, Go and Hex, GPT-5.6 Sol gained 298 points per $1,000 of learning cost, versus 57 for Claude Fable 5.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

Meta 的一篇新论文显示，前沿智能体从经验中学习的能力差异很大，而表现最好的智能体并不是学习效率最高的。

大多数智能体测试衡量的是模型单次能完成什么任务。它们忽略了模型能否通过根据以往尝试积累工具、笔记和技能来提升表现，以及这样做需要多少成本。

研究人员冻结了模型权重，让智能体玩国际象棋、围棋、Hex 棋和 NetHack，并在每轮后改写自己的工具和笔记。随后，他们对留出的对局进行评分，并将可塑性定义为每花费 1 美元学习成本所带来的留出对局成绩提升。

在高难度国际象棋任务中，Claude Fable 5 在留出对局中的成绩从 37.5% 升至 73.3%。综合国际象棋、围棋和 Hex 棋的结果，GPT-5.6 Sol 每花费 1,000 美元学习成本提升 298 分，而 Claude Fable 5 提升 57 分。

评估能够自我改进的智能体时，应跟踪其在留出任务上的学习曲线和成本，并检查它是否实际使用了自己保存的内容。

13:27 · 2026-10-18 · UTC+8

Found an error? Send a correction