Ai2 发布研究:大模型判断科研想法新颖性易受提示词影响
自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。
Ai2 测试了六款大模型对科研想法新颖性的判断。在一组人类与 AI 生成想法的比较中,仅改变提问措辞,就让 GPT-5.4 的准确率从 93.5% 降至 40.9%。研究团队同时发布了基准、数据和代码;其中 AI 生成想法的较低新颖性属于研究假设,并非逐一核实的结论。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。
Ai2 测试了六款大模型对科研想法新颖性的判断。在一组人类与 AI 生成想法的比较中,仅改变提问措辞,就让 GPT-5.4 的准确率从 93.5% 降至 40.9%。研究团队同时发布了基准、数据和代码;其中 AI 生成想法的较低新颖性属于研究假设,并非逐一核实的结论。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读