Meta 论文比较前沿智能体从经验中学习的效率

Meta 的一篇新论文显示，前沿智能体从经验中学习的能力差异很大，而表现最好的智能体并不是学习效率最高的。

大多数智能体测试衡量的是模型单次能完成什么任务。它们忽略了模型能否通过根据以往尝试积累工具、笔记和技能来提升表现，以及这样做需要多少成本。

研究人员冻结了模型权重，让智能体玩国际象棋、围棋、Hex 棋和 NetHack，并在每轮后改写自己的工具和笔记。随后，他们对留出的对局进行评分，并将可塑性定义为每花费 1 美元学习成本所带来的留出对局成绩提升。

在高难度国际象棋任务中，Claude Fable 5 在留出对局中的成绩从 37.5% 升至 73.3%。综合国际象棋、围棋和 Hex 棋的结果，GPT-5.6 Sol 每花费 1,000 美元学习成本提升 298 分，而 Claude Fable 5 提升 57 分。

评估能够自我改进的智能体时，应跟踪其在留出任务上的学习曲线和成本，并检查它是否实际使用了自己保存的内容。