浙江大学论文：任务成功率较低的AI模型仍可训练其他模型

一个本身不擅长某项任务的 AI 模型，仍能训练另一个 AI 把这项任务做好。

一篇新论文显示，一种名为 JEV 的决策模型——一种用于在选项之间作出选择而非撰写文本的 AI 模型——独自完成模拟家务任务的成功率仅为 42.9%，但它事后审查另一个 AI 的行动，将后者的成功率从 72.8% 提高到 82.9%。

浙江大学的一篇新论文显示，一个不擅长某项任务的 AI 模型，仍能通过在另一个 AI 完成尝试后审查其每一步行动，训练它把这项任务做好。

智能体强化学习通常只根据最终结果给予奖励，因此每一步获得的奖励归因都相同。给每一步评分通常需要针对各个环境的标签，或在每次行动时由大语言模型担任评判者。

他们在 ALFWorld 和 WebShop 上测试了决策模型，让它们既充当执行任务的模型，也充当步骤评分者；这类模型输出带有概率的选项，而不是文本。作为评分者，模型会查看完整的执行过程，评估每个行动是否有帮助，并将这些分数加入 GRPO 训练。

决策模型 JEV 在执行 ALFWorld 任务时，完成率仅为 42.9%。作为评分者，它使 Qwen2.5-1.5B 策略的成功率达到 82.9%，高于仅使用 GRPO 结果奖励时的 72.8%。

选择步骤评分者时，应看它们对已记录执行过程的判断能力，而不是执行任务的能力；要评估每个行动，而不是最终结果。