aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

帖子称 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,数学题得分上升

AI 导读

一则转述研究的帖子称,GPT-6 Astra 在不训练模型的情况下,修改了 Qwen3.5-0.8B 约 0.016% 的权重,使其 MATH-500 得分从 7.9% 升至 48.1%。帖子称,修改针对的是导致模型反复输出、直到触及长度限制的内部信号;这些结果仍是帖文中的说法。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

@jcamdr70 是的,说得很对。

回复jcamdr@jcamdr70
译文
直接编辑模型的思维,而不是让它通过学习来改变。 对 AI 来说,AI 已不再是黑箱。
原文

Editing mind instead of make it learns. AI are not black box for AI anymore.

在 X 查看这条帖子 ↗
相关上下文Rohan Paul@rohanpaul_ai
译文
重大进展。MIT 研究人员展示了 GPT-6 Astra 可以直接修改另一个 AI 模型的权重,在不进行训练的情况下改进该模型。 在这里,GPT-6 Astra 通过修改 Qwen3.5-0.8B 的 0.016% 权重,在不进行训练的情况下,将其在 MATH-500 上的成绩从 7.9% 提升至 48.1%。 Astra 在一个 Python 笔记本中获得了 Qwen 的权重,并有 50 次在练习数学题上进行测试的机会。它发现该模型会不断重复自己的输出,直到达到长度限制;随后将这一习惯追溯到由其 2 个层写入的单一内部信号,并从权重中减去了该信号。 循环消除后,该模型便能完成那些它原本就有能力解答的题目。 这一次有针对性的修改改变了 0.016% 的权重,并将数学题准确率从 7.9% 提高到 48.1%。
原文

MASSIVE. MIT researchers showed that GPT-6 Astra can improve another AI model by changing its weights directly, without training. Here, GPT-6 Astra raised Qwen3.5-0.8B from 7.9% to 48.1% on MATH-500 by editing 0.016% of its weights, without training. Astra got Qwen’s weights in a Python notebook, plus a budget of 50 test runs on practice math problems. It saw the model kept repeating itself until it hit its length limit, traced that habit to a single internal signal written by 2 of its layers, and subtracted that signal out of the weights. With the loop gone, the model could finish answers it was already capable of solving. That single targeted edit changed 0.016% of the weights and lifted math accuracy from 7.9% to 48.1%.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错