哈佛研究称AI审稿意见全面胜过高水平人类同行评审
哈佛大学两位研究人员10月22日发表论文,对比134组AI与人类审稿意见,AI在七个评价维度上全面领先;三位曾任重要学术期刊主编的专家进行30次盲评,26次认为AI审稿意见更好。研究使用124篇论文和rapidPeer提供的134份付费专业审稿意见,由Claude Opus 4.8生成审稿、GPT-5.5担任盲评裁判,AI审稿意见的事实错误比例为5.5%,人类为15.9%。
不是什么随便招来的志愿者。 研究使用了124篇学术论文,以及哈佛大学定量社会科学研究所旗下rapidPeer服务提供的134份人类审稿意见——这是一项付费的专业审稿服务,审稿人由领域专家挑选,来自不同的研究机构,而且报酬不低。 他们的表现原本也很不错:在接受调查的74位论文作者中,有88%认为收到的审稿意见质量很高,其中60%给出了最高档评价。 研究人员使用Anthropic的Claude Opus 4.8生成审稿意见,再请OpenAI的GPT-5.5担任AI评委,在不知道意见由谁撰写的情况下,比较人类与AI的审稿质量。 结果是,人类输得非常彻底。 即使不允许AI联网,只给它和人类一样的审稿指南,在134组对比中,GPT-5.5也全部选择了AI。 换用专门优化的提示词、开放联网后,134组比较中有132组明确判AI获胜,剩下两组结果不确定,人类依然没有取得任何胜利。 具体来看,在补充参考文献、发现论文弱点和研究方法三个维度上,AI的胜率达到100%;理论创新、论述框架、表达质量等方面,胜率也都超过90%。 研究人员甚至检查了AI引用的651个带有DOI或arXiv编号的参考文献,发现全
匹配字段正文
