aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

OpenAI 发布药物化学基准 MedChemBench,测试模型的研发决策能力

AI 导读

MedChemBench 的题目取自 117 篇论文和专利,涵盖 761 个评分用分子结构。每道题停在真实研发决策点,提供生物靶点、已制备化合物和部分实验结果,并隐藏研究者后来报告的结果。材料称,表现最好的 GPT-6.2 Astra 总体得分约 84%,但在关键决策上约有一半答对。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

https://t.co/kQF1qrMbEU

回复Rohan Paul@rohanpaul_ai
译文
OpenAI 现已发布其药物化学基准测试 MedChemBench。 其题目来自 117 篇论文和专利,涵盖 761 个接受评分的分子结构,并隐藏了研究人员后来报告的结果。 每道题都停在一个真实的决策节点,提供生物学靶点、截至该节点已制备的化合物以及部分实验测定结果。 表现最好的模型 GPT-6.2 Astra 总体得分约为 84%,在理解化学内容方面几乎完美,但在真正关键的决策上,正确率约为一半。
原文

OpenAI has now published MedChemBench, its medicinal chemistry benchmark. Its problems come from 117 papers and patents, span 761 graded molecular structures, and withhold the results researchers reported later. Each prompt stops at a real decision point, supplying the biological target, the compounds made so far and selected assay results. the best model GPT-6.2 Astra gets about 84% overall, is near perfect at reading the chemistry, and is right about half the time on the decision that actually matters.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错