原帖引用 · AI 翻译
Lean 为 AI 数学提供了一种无可争辩的评分标准，如今实证科学也开始有了自己的类似方案。
基准测试 Science’s Last Exam（SLE）根据可以打开并重新运行的成果文件对科研智能体评分，所用的检查项由领域专家在每项任务创建时封存。
该基准测试由美国非营利组织 AItonomy Foundation 牵头，涵盖 9 个学科的 113 项任务，并使用对智能体隐藏的检查项评判提交结果。
大多数 AI 科学测试会提出已有已知答案的问题；SLE 则向 AI 智能体提供研究目标、数据和实验室软件，再用智能体从未见过的测试检查其最终成果。
它根据模型训练截止日期之后发表的研究来评判 AI 提出的假设，因此记忆无法帮上忙。DeepSeek V4.1 Flash 排名第一，其 21.28% 的假设预见了后续研究。
我无比自豪地分享我们在 AItonomy Foundation 一直致力于打造的成果：Science’s Last Exam（SLE）。🧪✨
AI 能做科学研究吗？我们不采用问答形式，而是给智能体真正的研究目标和现实世界中的工具（实验室数据、软件），再依据对其隐藏的专家检查项评分。
衷心感谢来自 34 家机构（哈佛、麻省理工、斯坦福等）的杰出人才，他们帮助设计了横跨 9 个学科的 113 项任务。❤️
结果如何？科学研究很难。在 8 个前沿模型中，表现最好的得分为 37.5/100。至于真正的端到端研究？全部得 0 分。前方还有一段令人兴奋的旅程！🚀
（Claude Opus 5.5 和 GPT-6 Astra 即将加入——只待完成生物安全防护措施的审核。）
所有内容将于 11 月 6 日开放。🗓️
🌐 https://t.co/yXGbbwXCBq
💻 https://t.co/p16ai2WqSy
🤗 https://t.co/3cSiDuAgf6
下方的帖子串将介绍这项测试如何运作，以及模型在哪些地方遇到困难。👇 (1/14)
#AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic
原文
I’m incredibly proud to share what we’ve been building at the AItonomy Foundation: Science’s Last Exam (SLE). 🧪✨ Can AI do science? Instead of Q&A, we give agents actual research goals and real-world tools (lab data, software), then grade them against hidden expert checks. Deeply grateful to the brilliant minds at 34 institutions (Harvard, MIT, Stanford, etc.) who helped craft 113 tasks across 9 disciplines. ❤️ The results? Science is hard. Of 8 frontier models, the best scored 37.5/100. On true end-to-end research? All scored 0. We have an exciting journey ahead! 🚀 (Claude Opus 5.5 & GPT-6 Astra coming soon—just clearing bio safeguards). Everything opens Nov 6. 🗓️ 🌐 https://t.co/yXGbbwXCBq 💻 https://t.co/p16ai2WqSy 🤗 https://t.co/3cSiDuAgf6 Thread below on how the exam works and where models break. 👇 (1/14) #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic