原帖引用 · AI 翻译
Lean 为 AI 数学提供了一位谁都无法质疑的评分者，而实证科学如今也有了这一理念的对应版本。
Science’s Last Exam（SLE）是一项基准测试，它根据可打开并重新运行的研究成果对研究智能体评分；用于评分的检查由领域专家在每项任务构建时确定并封存。
这项基准测试由美国非营利组织 AItonomy Foundation 牵头，涵盖 9 个学科的 113 项任务，并使用对智能体隐藏的检查来评估提交的成果。
大多数 AI 科学测试提出的是已有已知答案的问题；SLE 则向 AI 智能体提供研究目标、数据和实验室软件，再用智能体从未见过的测试检查其完成的工作。
它将 AI 提出的假设与模型训练截止日期之后发表的研究进行比对评分，因此记忆无法发挥作用。DeepSeek V4.1 Flash 领先，其假设中有 21.28% 预见了后来的研究成果。
原文
Lean gave AI math a grader nobody can argue with, and empirical science is now getting its own version of that idea. Science’s Last Exam (SLE), a benchmark, grades research agents on artifacts that can be opened and re-run, with checks that domain experts seal when each task is built. Led by the US nonprofit AItonomy Foundation, the benchmark spans 113 tasks in 9 disciplines and grades submissions with checks hidden from agents. Most AI science tests ask questions with known answers; SLE hands an AI agent a research goal, data and lab software, then checks its finished work with tests the agent never sees. It scores AI hypotheses against studies published after the model’s training cutoff, so memory cannot help. DeepSeek V4.1 Flash led, with 21.28% of its hypotheses anticipating later research.
我无比自豪地分享我们在 AItonomy Foundation 一直打造的成果：Science’s Last Exam（SLE）。🧪✨
AI 能做科学研究吗？我们不采用问答形式，而是给智能体真实的研究目标和现实世界中的工具（实验室数据、软件），然后依据隐藏的专家检查对其评分。
衷心感谢来自 34 家机构（哈佛大学、麻省理工学院、斯坦福大学等）的杰出人才，他们帮助设计了横跨 9 个学科的 113 项任务。❤️
结果如何？科学研究很难。在 8 个前沿模型中，成绩最好的得分为 37.5/100。真正的端到端研究呢？全部得分为 0。前方还有一段激动人心的旅程！🚀
（Claude Opus 5.5 和 GPT-6 Astra 即将加入——只待完成生物安全防护措施。）
所有内容将于 11 月 6 日开放。🗓️
🌐 https://t.co/yXGbbwXCBq
💻 https://t.co/p16ai2WqSy
🤗 https://t.co/3cSiDuAgf6
下方的帖子串将介绍这场考试如何运作，以及模型在哪些地方遇到困难。👇 (1/14)
#AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic
原文
I’m incredibly proud to share what we’ve been building at the AItonomy Foundation: Science’s Last Exam (SLE). 🧪✨ Can AI do science? Instead of Q&A, we give agents actual research goals and real-world tools (lab data, software), then grade them against hidden expert checks. Deeply grateful to the brilliant minds at 34 institutions (Harvard, MIT, Stanford, etc.) who helped craft 113 tasks across 9 disciplines. ❤️ The results? Science is hard. Of 8 frontier models, the best scored 37.5/100. On true end-to-end research? All scored 0. We have an exciting journey ahead! 🚀 (Claude Opus 5.5 & GPT-6 Astra coming soon—just clearing bio safeguards). Everything opens Nov 6. 🗓️ 🌐 https://t.co/yXGbbwXCBq 💻 https://t.co/p16ai2WqSy 🤗 https://t.co/3cSiDuAgf6 Thread below on how the exam works and where models break. 👇 (1/14) #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic