←新闻详情

Rohan Paul更新于 10月25日 20:51

哈佛研究:Claude Opus 4.8 撰写的论文评审在各项指标上优于人类评审

Massive. New Harvard study finds that AI-written paper reviews now beat the best human peer reviews on every measure the authors tested.

AI 导读

一项哈佛研究用 Claude Opus 4.8 对 1124 篇论文生成评审,并与 rapidPeer 的 134 份专家评审做盲评对比,结果显示 AI 评审在作者测试的所有指标上都优于最好的专家评审。GPT-5.5 在全部 132 组已判定配对中都选择了 AI 评审,3 位前期刊编辑有 87% 选择 AI 评审;AI 评审中关于论文的错误陈述占 5.5%,人类评审为 15.9%。作者据此建议依赖专家评审的团队可让 AI 完成首轮完整评审,由人类做最终决定。

推荐理由

AI 评分 54

这项对比给出了 AI 与人类评审在错误率和盲评胜率上的具体差距,可供评估 AI 参与同行评审的边界。

主题

标签

正文 · AI 翻译

重磅。哈佛一项新研究发现,在作者测试的所有指标上,AI 撰写的论文评审如今都优于最优秀的人类同行评审。

同行评审速度慢,且常常漏掉错误。此前的研究结论是,AI 只应辅助人类评审,而不应取代他们。

他们使用了来自 rapidPeer 的 134 份评审,这是一项哈佛服务,向专家评审支付优厚报酬。Claude Opus 4.8 评审了同样的 1124 篇论文,GPT-5.5 与 3 位前期刊编辑对配对结果进行了盲评。

在全部 132 组已判定的配对中,GPT-5.5 都选择了 AI 评审,编辑们有 87% 的时间选择了 AI 评审。AI 关于论文的陈述中只有 5.5% 是错误的,而人类评审为 15.9%。

依赖专家评审的团队现在可以让 AI 完成首轮完整评审,并保留人类做最终决定。

来源

Rohan Paul