Original post · AI translation
@aitonomyfound 这几乎就是适用于任何科学领域的“Lean”证明。
研究智能体确实应该这样评分。
我无比自豪地分享我们在 AItonomy Foundation 一直致力于打造的成果：科学的终极考试（Science’s Last Exam，SLE）。🧪✨
AI 能做科学研究吗？我们不采用问答，而是给智能体实际的研究目标和现实世界中的工具（实验室数据、软件），然后根据不公开的专家评估标准给它们评分。
衷心感谢来自 34 家机构（哈佛、麻省理工、斯坦福等）的杰出人才，他们帮助设计了涵盖 9 个学科的 113 项任务。❤️
结果如何？科学研究很难。在 8 个前沿模型中，成绩最好的得了 37.5/100 分。至于真正的端到端研究？全部得了 0 分。前方还有一段激动人心的旅程！🚀
（Claude Opus 5.5 和 GPT-6 Astra 即将加入——目前只是在完成生物安全防护措施的审查。）
所有内容将于 11 月 6 日开放。🗓️
🌐 https://t.co/yXGbbwXCBq
💻 https://t.co/p16ai2WqSy
🤗 https://t.co/3cSiDuAgf6
下方的帖子串将介绍这项考试如何运作，以及模型在哪些地方遇到困难。👇 (1/14)
#AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic
Original
I’m incredibly proud to share what we’ve been building at the AItonomy Foundation: Science’s Last Exam (SLE). 🧪✨ Can AI do science? Instead of Q&A, we give agents actual research goals and real-world tools (lab data, software), then grade them against hidden expert checks. Deeply grateful to the brilliant minds at 34 institutions (Harvard, MIT, Stanford, etc.) who helped craft 113 tasks across 9 disciplines. ❤️ The results? Science is hard. Of 8 frontier models, the best scored 37.5/100. On true end-to-end research? All scored 0. We have an exciting journey ahead! 🚀 (Claude Opus 5.5 & GPT-6 Astra coming soon—just clearing bio safeguards). Everything opens Nov 6. 🗓️ 🌐 https://t.co/yXGbbwXCBq 💻 https://t.co/p16ai2WqSy 🤗 https://t.co/3cSiDuAgf6 Thread below on how the exam works and where models break. 👇 (1/14) #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic