Original post · AI translation
斯坦福大学及其他顶尖实验室的一篇新论文发现,一个 27B 的开放模型可以通过推理修改自身权重,在无需训练或梯度的情况下改进自己。
如今,要改进已部署的模型,意味着需要在大型集群上再进行一次训练。提示词和额外的推理计算有所帮助,但任务一结束,收益就会消失。
研究人员向 Qwen3.5-27B 提供了它自身的权重、经过评分的练习答案和一个 Python 会话,同时禁用了梯度。它比较了完成作答的答案与因令牌耗尽而中断的答案所对应的隐藏状态,然后削弱了区分两者的方向。
在一项预先确定的测试中,它自行作出的修改使其在 490 道未见过的题目上的准确率从 57.2% 提升至 63.8%。2B 模型没有作出修改,而 4B 和 9B 模型则把自己改坏了。
如果你运行大型开放模型,可以让它针对自身的失误提出权重修改方案,但只保留通过留出测试的修改。