Meta 论文发现：强化学习后训练可能降低智能体多次尝试的解题覆盖率

Meta 的一篇新论文发现，强化学习后训练让智能体首次尝试的表现更好，但在有 128 次尝试机会时，最终找到解决方案的能力反而更差。

人们认为，强化学习会教会智能体调用工具等新技能。

这种说法主要来自数学和编程领域，而基础模型在这些领域已经见过海量数据。

他们在 3 项智能体基准测试中测试了 14 对基础模型和后训练模型，每项任务最多允许尝试 128 次。他们还开发了 PTGS：一种在难题上提高温度、在简单题上降低温度的采样器。

在 WebShop 上，gemma-4-31B 基础模型在 128 次尝试内解决了超过 85% 的任务，而后训练版本为 56%。在 42 个模型与基准测试组合中，他们的“锐化税”（Sharpening Tax）有 36 个为正值，意味着覆盖率缩小了。

为能够重试的智能体选择后训练模型之前，应衡量它最终能解决多少任务，而不只是首次尝试的准确率。