原帖引用 · AI 翻译
@EaglesPerch360 🫡🫡
#引人入胜 …… 谢谢 @rohanpaul_ai
原文
#fascinating … thank you @rohanpaul_ai
Google Deep Mind 和多所顶尖大学的一篇新论文发现，受测的最佳 AI 智能体解出了 50 道尚未发表的研究级理论物理问题中的 49 道；每道题大约需要一位世界级专家花 1 天完成。
每道题的成本不到 3 美元。
物理学领域的 AI 基准测试常使用教科书或竞赛题目，或禁用真正的研究人员会使用的工具。因此，此前尚不清楚智能体如何处理日常研究中的计算工作。
专家从自己的研究中提供了 50 道尚未发表的问题，每道题大约需要一位该领域专家花 1 天完成。智能体独立解题，分别在可使用和不可使用网络搜索的条件下接受测试，评分只依据最终的数值答案。
Codex 中的 GPT-6-Astra 在使用网络搜索时解出了 50 道题中的 49 道；不使用网络搜索时，它和 Claude Code 中的 Opus 5.5 都解出了 50 道题中的 46 道。没有搜索时，准确率几乎没有变化，这表明这些模型可能记住了大量物理学文献。
原文
New paper from Google Deep Mind, and many top Universities finds the best AI agent tested solved 49 of 50 unpublished research-level theoretical physics problems, each roughly a day's work for a world expert. at under $3 each. Benchmarks for AI in physics often use textbook or contest problems, or block the tools real researchers use. So it was unclear how agents handle the calculations that fill daily research. Experts contributed 50 unpublished problems from their own research, each about a day's work for a specialist. Agents worked alone, with and without web search, and were graded only on final numerical answers. GPT-6-Astra in Codex solved 49 of 50 with web search, and both it and Opus 5.5 in Claude Code solved 46 of 50 without it. Accuracy barely changed without search, which suggests the models have memorized much of the physics literature.