Harvard study says AI review comments comprehensively outperform high-level human peer reviewers

10月22日，哈佛大学的两位研究人员发表了一篇题为《AI审稿意见全面胜过高水平人类同行评审》的论文，对比了134组AI与人类撰写的审稿意见。结果，AI在七个评价维度上全面领先。

研究人员还请来三位曾经担任重要学术期刊主编的专家进行盲评。30次比较中，他们有26次认为AI的审稿意见更好。

在接受核查的具体论断中，AI审稿意见的事实错误比例只有5.5%，人类却高达15.9%。

就在上个月，陶哲轩等25位菲尔兹奖得主还联名批评AI公司急于宣布数学突破，强调数学研究需要严谨的验证和审查。

人类一败涂地

惨败的审稿人们可不是什么随便招来的志愿者。

研究使用了124篇学术论文，以及哈佛大学定量社会科学研究所旗下rapidPeer服务提供的134份人类审稿意见——这是一项付费的专业审稿服务，审稿人由领域专家挑选，来自不同的研究机构，而且报酬不低。

他们的表现原本也很不错：在接受调查的74位论文作者中，有88%认为收到的审稿意见质量很高，其中60%给出了最高档评价。

研究人员使用Anthropic的Claude Opus 4.8生成审稿意见，再请OpenAI的GPT-5.5担任AI评委，在不知道意见由谁撰写的情况下，比较人类与AI的审稿质量。

结果是，人类输得非常彻底。

即使不允许AI联网，只给它和人类一样的审稿指南，在134组对比中，GPT-5.5也全部选择了AI。

换用专门优化的提示词、开放联网后，134组比较中有132组明确判AI获胜，剩下两组结果不确定，人类依然没有取得任何胜利。

具体来看，在补充参考文献、发现论文弱点和研究方法三个维度上，AI的胜率达到100%；理论创新、论述框架、表达质量等方面，胜率也都超过90%。

研究人员甚至检查了AI引用的651个带有DOI或arXiv编号的参考文献，发现全部真实存在，没有任何一条是编造的。

于是他们请来了开头提到的三位前学术期刊主编，分别进行了10次盲评。结果，在30次比较中，人类评委有26次选择了AI。

10月23日，该论文发布后，斯坦福大学政治学副教授徐轶青公开表示，学术界应该重新考虑人类专家在审稿中的角色。在他看来，人类专家仍然需要参与，但已经没必要继续亲自撰写动辄1500字的长篇审稿意见了。

答案可能非常简单——它压根就不会累。

审稿是一件相当费神的工作。审稿人需要通读论文，检查研究方法、数据、图表和论证，还得寻找作者可能遗漏的相关文献。

论文作者甚至在介绍实验时，顺手吐槽了一些传统期刊审稿人：有些人论文才看到第三页，就开始寻找足以否定论文的致命缺陷，好让自己不用继续读下去。

这次实验中，研究人员将Claude Opus 4.8的推理强度调到最高，还专门设计了一套审稿提示词，允许它联网查找资料。

不过，认真的效果也相当明显。在不联网、使用普通审稿指南的情况下，AI在补充参考文献方面的胜率为62%；换用专门优化的提示词并开放联网后，胜率直接提高到了100%。

今时不同往日。

今年4月，学术期刊《Organization Science》的编辑团队还发表过一项研究，分析了过去几年收到的一万多份审稿意见，发现大量使用AI的审稿报告反而更难读，讨论的问题也更加狭窄。

论文作者就举例，AI有时候甚至会吹毛求疵到荒唐的程度：明明知道2+2=4是正确的，却还要指出作者没有定义加号是什么意思。

以前是论文作者需要向人类审稿人证明，自己的研究值得发表；以后可能就轮到人类审稿人向学术期刊证明，自己为什么还值得花钱请了。

数学家们可能有点尴尬了

9月11日，陶哲轩等首批25位菲尔兹奖得主联名发声，批评AI公司把破解数学难题当成模型能力竞赛，急着宣布重大突破，却没有给数学界留下足够的时间验证、理解和讨论。

9月29日，数学与AI咨询小组（AGMAI）又专门发布指南，强调已经被人类数学家充分理解的AI研究成果，应该按照传统学术规范发布论文，接受期刊同行评审。

数学研究有一套延续多年的规矩。证明写出来了，还得经过专家检查、同行讨论，最后才能逐渐成为学术界公认的知识。

10月7日，一个名叫“人类数学协会”（AHM）的组织公开批评OpenAI一次性发布700多份数学研究文件，认为这更像是在展示力量，而非认真做学术。

但事情发展到这里，多少显得有些荒诞。