LitPivot：在文献图景中动态情境化，辅助发展研究想法

为什么转向很难

研究想法通过与文献互动而演进。在我们对四个已完成的计算机科学研究项目的会议记录分析中，我们在全部四个项目中识别出21次由文献引发的转向。这些转向分为两类：将想法与已有工作区分开来以确立想法的新颖性，以及将想法与已有工作对齐以在其基础上构建。本项目本身在确定其贡献之前也经历了两次转向。

这些变化可能难以应对。在一项形成性研究中，五名研究人员使用文本编辑器和标准搜索工具制定提案。他们在发展自己想法的同时对照文献对其进行批判性评估时遇到了困难。当一篇论文对想法的新颖性提出质疑时，他们希望获得具体的修改建议，并有先前工作作为支撑。这些发现塑造了LitPivot的评估方式，它将有文献支持的批评与针对所选想法部分的特定修改建议配对呈现。

LitPivot如何工作

在LitPivot中，研究人员首先在编辑器中撰写一份简短提案，并启用我们所谓的facet高亮，它将一个已阐述的想法分割为不同的facet（即问题、贡献和评估）。要检查某个提议的facet，研究人员在草稿中点击该片段。相邻面板会根据所选facet对相关论文进行分组（例如，当选中评估facet时，按论文使用的评估方法对其进行分组），并高亮最相关的分组。研究人员选择论文、请求评估，并查看建议的修改以及支持该批评的摘录。随后，文献会根据与修改后facet的相关性重新排序。

具体而言，LitPivot将研究想法拆分为其问题、提议的贡献和评估计划。每个facet都有各自的相关文献集合和相关性排序。LitPivot围绕正在编辑的facet对检索到的论文进行分组，让研究人员选择系统应使用哪些论文来评估草稿。

与Prism等科学写作环境和Claude Code等智能体助手一样，LitPivot探索了一种发展早期研究想法的新工作流：选择用于评估该想法的文献，利用这些证据修改想法，并随着想法的变化重新考虑哪些论文重要。它的论文分组和关联批评使提案每个部分的这些步骤变得明确，同时研究人员掌控草稿和用于评估它的证据。

对于问题陈述，LitPivot寻找问题存在的证据并论证其重要性。为评估提议的贡献，它将所选论文已经解决的问题与它们描述的局限性和未来工作进行比较，寻找剩余的空白。对于评估计划，它检查提议的测试是否针对研究问题以及类似工作是如何被评估的。随后系统会给出一个附有支持性引文的改写建议。

改变想法的一个facet可能会使另一个facet过时。LitPivot会标记可能需要修改的段落，例如不再能充分评估修改后贡献的评估计划。研究人员可以接受、编辑或拒绝建议，并随着提案的发展请求新论文或刷新文献排序。

来自一名研究参与者的转述示例。

我们的发现

在我们的实验室研究中，17名研究人员分别使用LitPivot和基线工具（一个文本编辑器加上一个用于就所选论文提问的AI工具）各发展一个分配的想法。两种条件使用相同的论文集合。两名领域专家在不知道使用了哪个系统的情况下，按照单一标准对所得提案进行评分：它们利用相关文献支持和论证想法的程度。使用LitPivot发展的提案获得了更高的评分。

同一研究中的参与者还报告称，与基线相比，使用LitPivot时他们对周边文献的理解更强，自评其想法的新颖性和有用性提升更大。领域专家还审阅了参与者的想法，并评定使用LitPivot修改后的想法在相关文献基础上显著更有依据。

我们实验室研究中的一名参与者最初提出的提案是生成一致、事实性的合成医疗记录。LitPivot在所选文献中识别出多次就诊之间的一致性可能是一个潜在空白。该参与者审阅了摘要并删除了关于单次就诊记录的论文。在又一次评估之后，他们将提案收窄为检测多次就诊记录之间的矛盾。这个例子展示了修改想法与选择用于评估它的文献如何相互启发。

在一项后续研究中，五名研究人员在30分钟的会话中对他们自己正在进行的项目使用了LitPivot。参与者在多个项目阶段使用了LitPivot，而不仅仅是在开始时。两人用它来对照文献审查新想法，三人用它来完善更成熟想法的框架。一名研究人员强调了看到来自不同领域的平行概念如何帮助他们重新构建自己的贡献。

这些研究表明，LitPivot既能支持早期探索，也能支持对现有研究方向的细化完善。

支持科学发现

在Ai2，我们正在开发AI，以帮助研究人员提出可检验的想法并审视其背后的证据。Asta通过从已发表发现中生成理论（Theorizer）、进行综合，以及在数据上生成和检验假设（AutoDiscovery）来支持这项工作，而HARPA则结合新兴研究趋势生成有前景的假设。Scideator让研究人员将先前工作的要素重新组合成新想法并评估其新颖性，IdeaSynth则支持以文献为依据的反馈进行迭代完善。

我们最近的研究《旧想法，新问题》考察了自动化新颖性评估的局限，展示了微小的提示变化如何改变AI评审对相同想法的判定。LitPivot通过将相关文献的选择纳入修改过程，延伸了这一研究方向。随着想法的发展，研究人员可以改变他们用来评估提案的论文，然后利用批评意见和支持性摘录来决定如何修改。该系统将这些决策贯穿于提案的问题、贡献和评估计划之中。

我们希望LitPivot的洞见能帮助科学家在现有知识的基础上继续构建，并将早期想法转化为对其领域的新贡献。

更多来自该作者的内容

OlmoEarth v1.3：面向整个地球的最先进嵌入

FairStress：对LLM决策中公平性的更深入评估