aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 精选AI 评分61

一项研究称,Qwen3.5-27B可通过推理修改自身权重

AI 导读

研究人员让Qwen3.5-27B查看自身权重和已评分的练习答案,在禁用梯度的Python环境中自行提出修改。材料称,这次修改使其在预先确定的490道未见题目上的准确率从57.2%升至63.8%;较小的2B模型未作修改,4B和9B模型的修改则导致性能受损。

推荐理由

在禁用梯度的条件下,模型自行修改权重并在预设未见题目上取得准确率提升;较小模型未能复现这一结果,也显示了方法的局限。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

斯坦福大学及其他顶尖实验室的一篇新论文发现,一个 27B 的开放模型可以通过推理修改自身权重,在无需训练或梯度的情况下改进自己。

如今,要改进已部署的模型,意味着需要在大型集群上再进行一次训练。提示词和额外的推理计算有所帮助,但任务一结束,收益就会消失。

研究人员向 Qwen3.5-27B 提供了它自身的权重、经过评分的练习答案和一个 Python 会话,同时禁用了梯度。它比较了完成作答的答案与因令牌耗尽而中断的答案所对应的隐藏状态,然后削弱了区分两者的方向。

在一项预先确定的测试中,它自行作出的修改使其在 490 道未见过的题目上的准确率从 57.2% 提升至 63.8%。2B 模型没有作出修改,而 4B 和 9B 模型则把自己改坏了。

如果你运行大型开放模型,可以让它针对自身的失误提出权重修改方案,但只保留通过留出测试的修改。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错