先了解这件事
AI 综述
Ai2发布“Old Ideas, Novel Problems”研究及配套基准、数据与代码,测试GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6六个模型判断研究想法新颖性的可靠性。结果显示评估设置的小改动会带来剧烈差异:GPT-5.4在Human+Generated数据上换用更简单的提示词后,准确率从93.5%降到40.9%,低于随机水平。研究还发现检索与额外推理并不稳定提升判断质量,两个专门构建的新颖性评估系统表现不如简单的Claude Opus 4.6提示词基线,且成本更高。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Ai2 Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月28日
Ai2 Blog一手精选
Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性并不可靠
Ai2 发布 Old Ideas, Novel Problems 研究与配套基准，测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个模型判断研究想法新颖性的可靠性。结果显示评估设置的小改动会带来剧烈差异：GPT-5.4 在 Human+Generated 数据上换用更简单的提示词后，准确率从 93.5% 降到 40.9%，低于随机水平。研究还发现检索与额外推理并不稳定提升判断质量，两个专门构建的新颖性评估系统表现不如简单的 Claude Opus 4.6 提示词基线，且成本更高。