卡内基梅隆大学论文提出用同一训练规则贯通大模型训练阶段

AI 训练的不同阶段可以合并为一种方法。

卡内基梅隆大学的一篇新论文表明，预训练、微调和强化学习可以共用一套训练规则，而混合这些阶段的数据往往比逐阶段训练效果更好。

大语言模型通常分阶段训练：预训练、中期训练、微调，然后是强化学习，每个阶段都有各自的算法。阶段之间的突然切换也可能抹去先前掌握的技能。

作者将一种名为 MaxRL 的强化学习方法重新表述为：利用模型自己给出的正确答案进行似然训练。这样一来，同一个训练器就能随时间按任意比例混合预训练文本、精选数据和强化学习样本。

在使用 124M 参数模型进行的推理谜题测试中，表现最好的混合训练运行超过了表现最好的分阶段训练运行，并且更好地保留了通用能力。在随后进行编程强化学习后，一个 0.76B 参数模型若在数学强化学习期间混入 5% 的中期训练数据，在 MBPP+ 上达到 32.69%，而分阶段训练的成绩为 29.81%。

将训练流程视为数据混合比例的调整计划，并尝试在强化学习中混入早期阶段的数据，而不是突然切换阶段。