新预印本测试15个模型审稿：植入错误检出率53%至96%，人工审稿人平均27%
> AI now catches far more errors in clinical trial papers than human peer reviewers: all 15 models tested scored 53% to 96% on planted errors, while untrained h
一项新预印本测试了15个模型在临床试验论文中检出植入错误的能力，得分区间为53%至96%，而未受训练的人工审稿人平均仅27%。结果在2026年发表的58项新试验上依然成立，说明模型并非只是回忆训练中见过的旧论文；Claude Opus 5.5得分最高，为99%。人工审稿人仅7%的情况下能发现文本与表格矛盾这类最影响试验含义的错误，且每次审稿耗时5至8.5小时，而AI为1.4至16.3分钟。
查看原帖本周关于期刊是否应在同行评审中禁用AI的争论很多。 我们实际上在新的预印本中对此进行了测试，结果在我看来相当明确。 背景说明：我曾为大多数大型期刊担任审稿人，并作为编辑评估过1,000份人工评审。我热爱阅读和评估科学。 TLDR：从现在起，没有AI我不会做任何同行评审。对于临床试验，我甚至会说仅靠人工评审是危险的🧵
查看原文
Lots of debate this week on whether journals should ban AI in peer review. We actually tested this in our new preprint, and the results were pretty clear to me. For context, I've reviewed for most of the big journals and evaluated 1,000 human reviews as an editor. I love to read and evaluate science. TLDR: From now on I won't do any peer review without AI. For clinical trials, I'd even call human-only review dangerous 🧵
正文 · AI 翻译
AI现在在临床试验论文中发现的错误远多于人类同行审稿人：所有15个受测模型在植入错误上的得分为53%至96%，而未受训练的人类审稿人平均仅为27%。
这一结果在2026年发表的58项新试验上依然成立，因此这些模型并非只是回忆训练中见过的旧论文；Claude Opus 5.5得分最高，为99%。
人类会漏掉那些最影响试验含义的错误，仅7%的情况下能发现文本与表格之间的矛盾，而且每次审稿耗时5至8.5小时，而AI仅需1.4至16.3分钟。