Salesforce 研究比较模型蒸馏与强化学习的训练成本

Salesforce 的一篇新论文发现，从大型外部教师模型进行蒸馏通常比直接使用强化学习消耗更多计算资源，而合并经过强化学习训练的领域专家模型可节省 42% 的计算量。

同策略蒸馏让学生模型针对自己的输出，从教师模型提供的逐词元反馈中学习，许多人预计这种密集信号会优于强化学习。但每个训练词元还需要教师模型进行一次前向计算。

他们以每单位训练 FLOP 对应的留出测试集准确率为指标，比较了蒸馏与 GRPO，并改变了任务难度、模型规模、领域和训练设置。

使用经过后训练的外部教师模型时，GRPO 总体上表现更好，而蒸馏往往会使回答变长。将分别针对各领域经过 GRPO 训练的专家模型蒸馏到 1 个学生模型，在数学和代码任务上达到了与联合 GRPO 相当的表现，同时总 FLOP 减少了 42.0%。

为了节省计算资源，应使用强化学习分别训练各领域专家模型，再将它们蒸馏到 1 个模型中，而不是从大型外部教师模型进行蒸馏。