正文 · AI 翻译
📄 论文 | 📊 数据 | 💻 代码
今天，我们发布《Old Ideas, Novel Problems》，这是一项关于大型语言模型能以多高的可靠性评估科研构想新颖性的研究。除论文外，我们还发布用于测试新颖性评判模型的基准、数据和代码，以及供研究人员构建新评估集的自动化流程。
在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。DataVoyager 帮助研究人员探索和分析结构化数据，AutoDiscovery 生成并检验假设，Theorizer 综合大量文献中的证据，形成候选科学理论。这些项目与 Asta 一起，指向这样一类系统：它们能帮助研究人员从理解先前工作，走向提出、检验和完善新构想。
但生成研究构想只是实现科学发现自动化所面临的挑战之一。这些构想还需要带来真正的新贡献，这意味着这些系统需要有办法区分新颖的研究方向和主要只是重新包装现有工作的方向。
这项判断通常交给另一个大型语言模型，即我们所说的“新颖性评判模型”。新颖性评判模型评估一项研究构想相对于先前工作是否新颖，可以单独评估，也可以将其与另一项构想比较。构建这类模型没有标准方法；研究团队需要选择模型、提示词、评估形式、推理预算，有时还要选择文献检索系统。这些选择可能对评判结果产生实质性影响。然而，这些评判模型往往只用人类撰写的论文验证，而不是用它们实际要评估的 AI 生成构想验证。
我们的新基准测试结果表明，新颖性评估本身远非可靠。在 6 个大型语言模型评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，评估设置看似微小的变化会使它们对同一构想作出截然不同的判断。在一项实验中，仅改变提示词中的几个词，就使一个模型判断两项构想中哪一项更新颖的准确率变化超过 50 个百分点。检索和额外推理并不能持续改善判断，而 2 个专门构建的新颖性评估系统的表现不如一个仅使用提示词的 Claude Opus 4.6 简单基线。
如果 AI 要在科学发现中发挥更大的作用，我们就需要更可靠的方法来判断它提出的东西是否确实新颖。我们的工作提供了研究这一问题的工具，同时也表明仍有许多问题尚未解决。
构建新颖性评判模型的基准
为了测试新颖性评判模型能以多高的可靠性区分新颖性较高和较低的研究构想，我们首先需要一些实例，其中有充分证据可判断其背后科学贡献的原创性。
因此，我们围绕 ICLR 2026 的同行评审构建了一套自动化流程。我们没有把论文是否被接收当作新颖性的替代指标，而是从评审意见中挖掘评审者明确讨论某项贡献原创性的段落。这一区别很关键：只要其他方面足够出色，一篇论文即使没有特别新颖也可能被接收。同样，一篇具有原创性贡献却被拒绝的论文也可能存在其他不足。
我们选取在其 ICLR 研究领域中评分位列前 10%、评审者明确肯定其新颖性且没有任何评审者对此提出异议的已接收论文，建立了包含 154 项人类提出的研究构想的高新颖性样本池。我们采用相反的标准建立了低新颖性样本池：来自评分位列后 10% 的被拒论文的 145 项构想，其评审者对原创性提出疑虑，且没有任何评审者明确肯定其新颖性。在对评审意见挖掘流程进行的单独核查中，标注员在 50 个案例中的 47 个案例里认同所提取新颖性信号的正负倾向；其余分歧均不会改变某位评审者是否被计为赞扬或质疑论文新颖性的结果。
这两组想法共同构成了我们的第一个评估场景 Human-Only，用于测试新颖性评判模型能否区分有充分证据表明新颖性较高或较低的人类撰写的想法。但在实践中，新颖性评判模型越来越多地被用于评估人工智能生成的想法。因此，我们创建了第二个场景 Human+Generated。
在这一组中，我们将同样的 154 个人类想法（均经过验证）与一个简单的大语言模型生成器产生的 154 个想法配对。我们假定生成的想法不如对应的人类撰写想法新颖；这些只是弱标签，并非对每个想法都经过核实的判断。生成器只收到一个研究领域和一条提出新颖想法的指令，没有进行文献检索，没有使用工具，也没有迭代或获得反馈。这使我们能够审慎地比较基础生成器的想法与 ICLR 排名前 10% 的论文中的贡献；这些论文的审稿人曾明确认可其原创性。
作为额外核查，一位专家独立审阅了 30 对 Human+Generated 想法，其中大多数是我们表现最强的评判模型判断错误的案例；我们还将人类撰写和人工智能生成的想法改写为统一结构，以测试评判模型是否只是对写作风格的差异作出反应。在全部 30 对想法中，专家都更倾向于人类的想法，并认为生成的想法没有一个具有新颖性。
值得注意的是，我们的许多核心发现根本不依赖这些标签。如果两种合理的评估设置对同一对想法给出相反答案，这种分歧本身就表明判断不稳定。
微小变化可能产生截然不同的判断
我们利用收集的人类撰写和人工智能生成的研究想法，测试了 6 个大语言模型评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——通过逐项评估（即给出绝对新颖性评分）和成对比较（即比较两个想法，找出更新颖的一个）来评估新颖性的能力。我们每次只改变一个因素：提示词、推理预算、评判模型能否看到相关论文、想法的呈现格式、汇总多少次判断得出最终结论，以及对于人工智能生成的想法，由哪个模型生成。
评估表现的最大变化来自我们如何提示模型判断新颖性。
例如，我们用两种提示词向 GPT-5.4 展示同样的 Human+Generated 想法配对，每对都包含一个经过验证的人类撰写想法和一个人工智能生成的想法。一种提示词告诉模型，审稿人认定每对想法中恰好有一个具有新颖性，并要求模型找出这一个；另一种只是询问哪个想法具有新颖性。改用较简单的提示词后，准确率从 93.5% 降至 40.9%，低于随机猜测的水平；对于同样的配对，模型在超过一半的案例中改变了判断。
相比之下，在 Human-Only 数据集上，同样的提示词变化只使准确率变化了约 7 个百分点。该数据集将新颖性证据较强与较弱的人类撰写想法配对。这表明，新颖性评判模型在评估人类撰写的研究时可能显得相对稳定，但在评估人工智能生成的想法时表现可能大不相同。
尽管如此，人类撰写的想法也未能免受影响。我们在 Human-Only 数据集上同样观察到了显著变化：同样的改变使 Claude Opus 4.6 的准确率变动了 21 个百分点。只是这些变化没有在人工智能生成的想法上那么剧烈。
此外，也不存在普遍更好的提示词。例如，在逐一评估想法时，删去一条提醒评判模型不要将微不足道或渐进式的贡献视为新颖的指令，会提高某些评判模型的准确率，却降低另一些的准确率。换言之，适用于一个模型的提示词未必适用于另一个模型。
我们还测试了新颖性评判模型的一种常见用途：比较两个 AI 生成模型提出的想法。我们将 Claude Opus 4.5 的想法与 Claude Sonnet 4.5 的想法配对比较，并将 GPT-5.4 的想法与 GPT-5.1 的想法配对比较。在所测试的提示词变化下，6 个评判模型的判定平均约有 1/4 至 1/3 发生变化。这种分歧无需假定哪个生成模型能提出更新颖的想法就可以衡量，表明评判模型提示词的选择会影响对创意生成系统的比较。
更多搜索和推理不一定能带来更好的新颖性判断。我们为 GPT-5.6 Sol 提供了超高推理预算，以及限定在 arXiv 上的实时迭代搜索，然后将其与标准检索评判模型比较；后者各自查看了 5 篇预先检索到的摘要。（在这项比较中，所有评判模型对 Human+Generated 数据集中的每个想法都只运行了 1 次。）这一具备自主搜索能力的评判模型取得了 0.78 的宏平均 F1 分数，比得分 0.89 的 Claude Opus 4.6 低 11 个百分点，与配置更简单的 Claude Opus 4.5 和 GPT-5.4 大致处于同一水平；按当前 API 价格计算，其每次判定的成本却约高出 10 倍。（在这里，宏平均 F1 衡量评判模型识别新颖和非新颖想法的能力；分数越高越好。）
专门构建的评估器也没有更准确，尽管成本高得多。在 Human+Generated 数据集上，一个使用低推理预算、通过 3 次调用进行多数投票的简单 Claude Opus 4.6 提示词，以总计 2.59 美元的评估成本取得了 0.854 的宏平均 F1 分数。相比之下，Idea Novelty Checker 这一以文献为依据的检索及重排序流程得分为 0.642，成本为 30.66 美元；Sakana AI 的 AI Scientist 则得分为 0.772，成本为 82.05 美元，其新颖性评估器会迭代搜索 Semantic Scholar。（这两个专门的评估器都使用 Claude Opus 4.6，每次判定调用 1 次。）
换言之，这个通过简单提示词实现的基线方法比任一专门构建的系统都更准确，而且便宜得多。
综合来看，这些结果表明，对于这些系统越来越常被要求评判的 AI 生成想法，新颖性评估尤其不稳定。
迈向更可靠的新颖研究评估
我们的结果表明，基于大语言模型的新颖性评估仍是一个尚未解决的重大问题。在人类撰写的研究成果上看似可靠的评判模型，面对 AI 生成的想法时可能表现不同；对一个模型有帮助的提示词可能损害另一个模型的表现；更多搜索或计算也不一定能带来更一致的判断。
未来的研究应在评判模型实际需要评估的想法类型上测试它们，衡量不同提示词和模型带来的敏感性，改进既有文献的纳入方式，并建立能够随着科学文献增长和 AI 系统进步而演进的基准。我们的基准和可复用的数据流程是一个起点——研究人员可以将它们应用于新的同行评审、其他科学界群体，以及未来几代新颖性评判模型。
自动化创意生成不仅依赖于提出看似可行的研究方向；我们还需要方法来判断这些想法是否真正新颖。通过让当前新颖性评判模型的弱点更容易衡量，我们希望此次发布能帮助研究人员构建更稳健的方法，评估 AI 生成的研究想法。