Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-10-31 05:52 · Original publication time AI score54

Carnegie Mellon paper proposes one training rule across stages of language model trainingMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

The paper recasts a form of reinforcement learning as likelihood training on the model’s own correct answers, allowing pretraining, fine-tuning and reinforcement learning data to be mixed. In reasoning puzzles with a 124M model, the best blended runs beat the best staged run. In a later coding test, a 0.76B model scored 32.69% on MBPP+, versus 29.81% with staged training.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

AI 训练的不同阶段可以合并为一种方法。

卡内基梅隆大学的一篇新论文表明，预训练、微调和强化学习可以共用一套训练规则，而混合这些阶段的数据往往比逐阶段训练效果更好。

大语言模型通常分阶段训练：预训练、中期训练、微调，然后是强化学习，每个阶段都有各自的算法。阶段之间的突然切换也可能抹去先前掌握的技能。

作者将一种名为 MaxRL 的强化学习方法重新表述为：利用模型自己给出的正确答案进行似然训练。这样一来，同一个训练器就能随时间按任意比例混合预训练文本、精选数据和强化学习样本。

在使用 124M 参数模型进行的推理谜题测试中，表现最好的混合训练运行超过了表现最好的分阶段训练运行，并且更好地保留了通用能力。在随后进行编程强化学习后，一个 0.76B 参数模型若在数学强化学习期间混入 5% 的中期训练数据，在 MBPP+ 上达到 32.69%，而分阶段训练的成绩为 29.81%。

将训练流程视为数据混合比例的调整计划，并尝试在强化学习中混入早期阶段的数据，而不是突然切换阶段。

05:52 · 2026-10-31 · UTC+8

Found an error? Send a correction