aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分61

一项研究报告:Qwen3.5-27B通过推理修改自身权重

AI 导读

一则介绍研究的帖子称,研究人员让Qwen3.5-27B在禁用梯度的条件下,利用自己的权重、练习题评分结果和Python会话提出权重修改。在预先确定的490道未见题目测试中,修改后的准确率从57.2%升至63.8%;同一实验中的2B模型没有修改权重,4B和9B模型的修改则导致性能受损。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

– https://t.co/Jqlke4C7nz

标题:“语言模型可以重写自己的权重”

回复Rohan Paul@rohanpaul_ai
译文
斯坦福大学与其他顶尖实验室的一篇新论文发现,一个 27B 的开放模型可以通过推理编辑自身权重来提升自己,无需训练或梯度。 如今,要改进一个已部署的模型,就意味着要在大型集群上再进行一轮训练。提示词和额外的推理算力有所帮助,但任务一结束,收益就消失了。 研究人员向 Qwen3.5-27B 提供了它自己的权重、经过评分的练习答案和一个 Python 会话,同时禁用了梯度。它比较了答完题的答案与耗尽 token 的答案对应的隐藏状态,然后削弱了区分两者的方向。 在一项预先确定的测试中,它自己做出的修改使其在 490 道未见过的题目上的准确率从 57.2% 提高到 63.8%。2B 模型没有做出修改,而 4B 和 9B 模型则把自己改坏了。 如果你运行一个大型开放模型,可以让它针对自身的失败提出权重修改方案,但只保留通过留出测试的修改。
原文

New Stanford+other top labs paper finds that a 27B open model can improve itself by editing its own weights through reasoning, with no training or gradients. Improving a deployed model today means another training run on large clusters. Prompts and extra inference compute help, but the gain disappears once the task ends. They gave Qwen3.5-27B its own weights, its graded practice answers, and a Python session, with gradients blocked. It compared its hidden states on answers that finished against answers that ran out of tokens, then weakened the direction separating them. Its own edit raised accuracy from 57.2% to 63.8% on 490 unseen problems, in a test fixed in advance. The 2B model made no edit, and the 4B and 9B models broke themselves. If you run a large open model, let it propose weight edits for its own failures, but keep only edits that pass held-out tests.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错