研究者推导语言模型对齐的奖励提升上限

这项研究推导出固定模型偏离预算下，语言模型对齐最多能提升多少预期奖励，并提出仅用基础模型样本估计这一上限的方法。在安全与摘要两项任务的实验中，best-of-N接近理论上限，PPO和GRPO则仍有明显差距；研究还指出，代理奖励的误差可能导致“奖励投机”。