Original post · AI translation
OpenAI 构建了 BioBasicsBench。这项测试向 AI 智能体提供真实实验室工作中杂乱的原始数据，例如凝胶照片和显微镜视频，并评估它们能否正确解读这些数据。
在一项新的湿实验室基准测试中，GPT-6 Astra 获得了可得分数的 66.7%，而 GPT-5.6 Sol 获得了 43.8%。
BioBasicsBench 由 OpenAI 与酶设计公司 Ligo 共同构建，包含 100 项任务，取材于科学家的原始凝胶图像、菌落培养板、显微镜图像、测序读数和实验台视频。
其评分标准允许给予部分分数，包括对发现错误或指出证据不足以支持结论的回答给分。
在 xhigh 设置下，Astra 每项任务使用 4,704 个输出 token，约为较早模型的一半，因此更长的推理并非成绩提升的原因。
一种衡量 AI 智能体如何处理湿实验室科学日常分析工作的新方法——BioBasicsBench。
这项基准测试与专注于酶设计的生物技术公司 Ligo 共同开发，取材于真实实验中的 100 项任务，旨在测试智能体能否解读原始实验室数据、识别错误，并判断证据何时不足以支持结论。
加速生物学研究，要从做好日常工作开始。BioBasicsBench 展示了模型需要改进的方面，并帮助我们追踪这些进步对科学进展、生物安全和生物安保意味着什么。
https://t.co/wN2xLk0YeW
Original
A new way to measure how AI agents handle the routine analyses of wet-lab science—BioBasicsBench. Developed with Ligo, a biotech company focused on enzyme design, the benchmark draws on 100 tasks from real experiments to test whether agents can interpret raw lab data, identify errors, and recognize when the evidence doesn’t support a conclusion. Accelerating biological research starts with getting the everyday work right. BioBasicsBench shows where models need to improve, and helps us track what those gains mean for scientific progress, biosafety, and biosecurity. https://t.co/wN2xLk0YeW