Original post · AI translation
Rohan Paul@rohanpaul_ai
> 如今，AI 在临床试验论文中发现的错误远多于人类同行评审员：接受测试的全部 15 个模型在识别人为植入的错误时得分为 53% 至 96%，而未经培训的人类评审员平均仅为 27%。
> 这一结果在 2026 年发表的 58 项新试验中同样成立，因此这些模型并非只是在回忆训练时见过的旧论文；Claude Opus 5.5 以 99% 的得分居首。
> 人类会漏掉最能改变试验含义的错误，发现正文与表格相矛盾之处的比例仅为 7%；而且人类每次评审需花费 5 至 8.5 小时，AI 则只需 1.4 至 16.3 分钟。
本周，关于期刊是否应禁止在同行评审中使用 AI，出现了许多争论。
我们实际上在新发表的预印本中对此进行了测试，结果在我看来相当明确。
作为背景，我曾为大多数大型期刊担任评审员，并作为编辑评估过 1,000 份人类评审意见。我热爱阅读和评估科学研究。
简而言之：从现在起，我不会在不使用 AI 的情况下进行任何同行评审。对于临床试验，我甚至会说仅由人类进行评审是危险的 🧵
Original
Lots of debate this week on whether journals should ban AI in peer review. We actually tested this in our new preprint, and the results were pretty clear to me. For context, I've reviewed for most of the big journals and evaluated 1,000 human reviews as an editor. I love to read and evaluate science. TLDR: From now on I won't do any peer review without AI. For clinical trials, I'd even call human-only review dangerous 🧵
· UTC+8