Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性并不可靠

我们能否信任LLM来判断一个研究想法是否新颖？

今天我们发布《旧想法，新问题》（Old Ideas, Novel Problems），这是一项关于大语言模型评估科学研究想法新颖性的可靠程度的新研究。除论文之外，我们还发布用于测试新颖性评判器的基准、数据和代码，以及一个研究人员可用于构建新评估集的自动化流水线。

在Ai2，我们一直在开发支持科学发现不同环节的AI系统。DataVoyager帮助研究人员探索和分析结构化数据，AutoDiscovery生成并检验假设，Theorizer则将大量文献中的证据综合为候选科学理论。与Asta一起，这些项目指向了能够帮助研究人员从理解先前工作，走向提出、检验和完善新想法的系统。

但生成研究想法只是实现科学发现自动化所面临挑战的一部分。这些想法还需要贡献真正新的东西，这意味着这些系统需要一种方法来区分新颖方向与主要只是重新包装已有工作的方向。

这种判断通常被交给另一个LLM——我们称之为新颖性评判器。新颖性评判器评估一个研究想法相对于先前工作是否新颖，既可以单独评估，也可以与另一个想法比较。构建评判器没有标准方法；研究团队会选择模型、提示词、评估格式、推理预算，有时还会选择文献检索系统。这些选择可能实质性影响判定结果。然而，这些评判器往往只在人类撰写的论文上验证，而不是在它们实际要评估的AI生成想法上验证。

我们的新基准结果表明，新颖性评估本身远不可靠。在六个LLM评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——中，评估设置看似微小的变化会对同一批想法产生截然不同的判断。在一项实验中，仅改变提示词中的几个词，就会使模型在识别两个想法中哪个更新颖时的准确率变化超过50个百分点。检索和额外推理并不能稳定改善判断，而两个专门构建的新颖性评估系统表现还不如一个简单的Claude Opus 4.6提示词基线。

如果AI要在科学发现中发挥更大作用，我们需要更可靠的方法来判断它是否真的提出了新东西。我们的工作为研究这一问题提供了工具，同时表明还有多少问题尚未解决。

构建新颖性评判器基准

为了测试新颖性评判器区分更新颖与较不新颖研究想法的可靠程度，我们首先需要一些示例，这些示例中关于底层科学贡献的原创性有强有力的证据。

因此，我们围绕ICLR 2026同行评审构建了一个自动化流水线。我们没有把论文被接收当作新颖性的代理指标，而是从评审意见本身中挖掘审稿人明确讨论贡献原创性的段落。这一区分至关重要；一篇论文即使在其他方面足够强，也可能并不特别新颖而被接收。同样，一篇被拒论文若有原创性贡献，也可能存在其他弱点。

我们通过选取在其ICLR研究领域中评分排名前10%的接收论文，且审稿人正面指出其新颖性、没有任何审稿人对此提出异议，构建了一个包含154个人类撰写研究想法的高新颖性池。我们应用相反标准构建了一个较低新颖性池：来自评分排名后10%的被拒论文的145个想法，其审稿人提出了原创性担忧，且没有任何审稿人正面指出新颖性。在对评审挖掘过程的单独检查中，一位标注者在50个案例中的47个里同意提取出的新颖性信号极性；没有任何分歧会改变某位审稿人是否被计为赞扬或质疑论文新颖性。

这两个池共同构成了我们的第一个评估设置Human-Only，用于测试新颖性评判器能否区分有强证据表明新颖性较高或较低的人类撰写想法。但在实践中，新颖性评判器越来越多地被用于评估AI生成的想法。因此我们创建了第二个设置Human+Generated。

对于这个池，我们将同样的154个经过验证的人类想法与一个简单LLM生成器产生的154个想法配对。我们假设生成的想法不如其人类撰写的对应想法新颖；这些是弱标签，并非对每个想法都经过验证的判断。生成器只收到一个研究领域和提出新颖想法的指令，没有文献检索、工具、迭代或反馈。这为我们提供了一个保守比较，即基本生成器产生的想法与来自ICLR前10%论文、且审稿人明确认可其原创性的贡献之间的比较。

作为额外的检查，一位专家独立评审了30对Human+Generated配对，这些配对重点偏向于我们最强评判器判断错误的案例，并且我们将人类生成和AI生成的想法改写为统一结构，以测试评判器是否只是对写作风格的差异做出反应。该专家在全部30对中都更偏好人类的想法，并判定没有任何生成的想法具有新颖性。

重要的是，我们的许多核心发现根本不依赖于标签。如果两种合理的评估设置对同一对想法给出相反的答案，这种分歧本身就揭示了不稳定性。

微小的改动可能产生截然不同的判定

利用我们收集的人类撰写和AI生成的研究想法，我们测试了六个LLM评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6——通过逐点（即绝对新颖性评分）和成对（即比较两个想法以找出更新颖者）两种比较方式评估新颖性的能力。我们每次只改变一个因素：提示词、推理预算、评判器是否能看到相关论文、想法的格式化方式、将多少次判断合并为最终判定，以及——对于AI生成的想法——由哪个模型生成。

性能的最大变化来自我们如何提示模型判断新颖性。

例如，我们向GPT-5.4展示了相同的Human+Generated配对——每对包含一个经过验证的人类撰写想法和一个AI生成想法——并使用两种提示词。一种提示词告诉模型，评审者发现每对中恰好有一个想法是新颖的，并要求它指出是哪一个；另一种则只是问哪个想法是新颖的。当我们切换到更简单的提示词时，准确率从93.5%降至40.9%——低于随机水平——并且模型对超过一半的相同配对改变了判定。

相比之下，同样的提示词变化在Human-Only数据集上仅使准确率变化约七个百分点，该数据集将人类撰写的想法与较强和较弱的新颖性证据配对。这表明，新颖性评判器在人类撰写的研究上可能显得相对稳定，但在AI生成的想法上表现却大不相同。

话虽如此，人类撰写的想法也并非不受影响。我们在Human-Only数据集上也看到了显著的变化；同样的改动使Claude Opus 4.6的准确率变化了21个百分点。只是这些变化没有在AI生成想法上那么严重。

也不存在普遍更好的提示词。例如，在逐个评判想法时，去掉一条警告评判器不要将琐碎或渐进式贡献视为新颖的指令，提高了某些评判器的准确率，却降低了另一些评判器的准确率。换言之，对某个模型有效的提示词可能无法迁移到另一个模型。

我们还测试了新颖性评判器的一种常见用途：比较来自两个AI生成器的想法。我们将Claude Opus 4.5的想法与Claude Sonnet 4.5配对，将GPT-5.4与GPT-5.1配对。在所测试的提示词变化中，六个评判器平均约有四分之一到三分之一的判定发生了改变。这种分歧可以在不假设哪个生成器产生更新颖想法的情况下被测量，从而表明评判器提示词的选择如何影响创意生成系统之间的比较。

更多的搜索和推理并不一定产生更好的新颖性判断。我们给GPT-5.6 Sol分配了超高的推理预算，并限制在arXiv上进行实时迭代搜索，然后将其与每个看到五篇预先检索摘要的标准检索评判器进行比较。（此比较中的所有评判器在Human+Generated上对每个想法运行一次。）该智能体评判器得分为0.78 macro-F1——比Claude Opus 4.6的0.89低11个百分点，与更简单的Claude Opus 4.5和GPT-5.4设置大致处于同一区间——而按当前API价格计算，每次决策的成本约为后者的10倍。（在此语境下，macro-F1衡量评判器识别新颖和非新颖想法的能力；越高越好。）

专门构建的评估器也没有更准确，尽管成本要高得多。在Human+Generated集上，一个使用低推理和三次调用多数投票的简单Claude Opus 4.6提示词实现了0.854 macro-F1，总评估成本为2.59美元。相比之下，Idea Novelty Checker——一个基于文献的检索和重排序流水线——得分为0.642，成本为30.66美元，而Sakana AI的AI Scientist——其新颖性评估器迭代搜索Semantic Scholar——得分为0.772，成本为82.05美元。（两个专用评估器均使用Claude Opus 4.6，每次决策调用一次。）

换句话说，简单的提示词基线比两个专门构建的系统都更准确，而且成本也低得多。

综合来看，这些结果表明，对于这些系统越来越多被要求评判的AI生成想法，新颖性评估尤其脆弱。

迈向更可靠的新颖研究评估

我们的结果表明，基于LLM的新颖性评估仍然是一个重大的开放问题。在人类撰写的研究上看似可靠的评判器，在AI生成的想法上可能表现不同；对某个模型有帮助的提示词可能会损害另一个模型；而更多的搜索或计算并不一定能产生更一致的判断。

未来的工作应当在实际将要评估的那类想法上测试评判器，衡量其对提示词和模型的敏感性，改进先前文献的纳入方式，并构建能够随着科学文献增长和AI系统进步而演进的基准。我们的基准和可复用的数据流水线只是一个起点——研究人员可以将其应用于新的同行评审、其他科学社区以及未来几代的新颖性评判器。

自动化构思不仅依赖于生成看似合理的研究方向；我们还需要能够判断这些想法何时真正新颖的方法。通过让当前新颖性评判器的弱点更容易被衡量，我们希望此次发布能帮助研究人员构建更稳健的方法来评估AI生成的研究想法。

加入我们

在Ai2，我们正在构建透明、开源AI的未来——以开放方式构建，以赋能科学进步，并促进对这一改变世界的技术的基本理解。我们不是为了盈利，而是为了确保AI的益处被广泛共享、造福人类。如果这吸引了你，请看看我们的开放职位。开放职位