Original post · AI translation
Rohan Paul@rohanpaul_ai
这里的发现很奇怪。
约翰斯·霍普金斯大学的一篇新论文发现，当大语言模型训练数据中更多事实只出现1次时，模型会做出更多科学发现。
在2个模型系列中，随着训练数据中只见过1次的事实占比从0%升至100%，发现率稳步上升。
发现和幻觉都意味着生成模型在训练中从未见过的内容。早先的理论将幻觉与“单现事实”（恰好出现1次的事实）联系起来，并认为这种未见内容大多是错误的。
作者扩展了这一理论，表明单现事实也决定了模型能发现多少新内容。他们在材料和DNA数据集上微调了gpt-oss-20b和gemma-3-12b-it，并将单现事实的占比从0%调整到100%。
以准确复现训练时留出的材料或DNA序列作为发现的评分标准，在所有设置下，发现率都随单现事实占比稳步上升。训练3轮或5轮会让原本只出现1次的事实被重复看到，也使这一趋势消失。
构建科学模型时，应保留罕见的只出现1次的样本，避免重复数据，并预期更多发现会伴随更多幻觉。
· UTC+8