LitPivot:在文献图景中动态情境化研究想法
LitPivot: Developing research ideas through dynamic contextualization within the literature landscape | Ai2
Ai2 与宾夕法尼亚大学合作开发了 LitPivot,一个帮助研究者在文献检索中调整研究方向的系统,通过 Asta Paper Finder 检索论文,按提案中被编辑的部分组织文献,并给出带原文摘录支撑的批评与可接受、编辑或拒绝的修改建议。在 17 名研究者参与的实验中,领域专家认为用 LitPivot 形成的研究想法比用文本编辑器加 AI 聊天工具的想法更有文献依据,参与者自评想法的新颖性和实用性提升更明显。该系统将亮相 UIST 2026。
正文 · AI 翻译
LitPivot:在文献图景中通过动态情境化发展研究想法
遇到一篇新论文可能会改变一个研究想法的轨迹。研究者可能会发现,已经有人解决了他们提出的贡献,或者在这篇论文中发现了一个尚未解决的问题,从而启发新的探究方向。
我们将这一过程称为文献引发的转向:即因阅读先前工作而促使研究方向发生的变化。它连接了两项研究者往往不得不分开管理的活动:发展一个想法,以及决定以哪些文献来衡量它。
我们与宾夕法尼亚大学的合作者共同开发了 LitPivot,一个帮助研究者应对这些转向的系统。LitPivot 使用通过 Asta Paper Finder 检索到的论文,围绕提案中正在编辑的部分组织文献,提供由所选研究摘录支撑的批评,并给出研究者可以接受、编辑或拒绝的修改建议。LitPivot 旨在用于早期研究构思,但这一思路有可能扩展到更长的写作任务(即撰写论文的引言部分)。
在一项有 17 名研究者参与的研究中,领域专家认为,使用 LitPivot 形成的研究想法比使用文本编辑器和 AI 聊天工具形成的想法更有文献依据。参与者还认为,他们修改后的研究想法更具新颖性和实用性,并表示对相关文献有了更深入的理解。
LitPivot 将在底特律举行的 UIST 2026 上展示。在此阅读论文。
为何转向如此困难
研究想法通过与文献互动而演进。在我们对四个已完成的计算机科学研究项目的会议记录分析中,我们在全部四个项目中识别出 21 次文献引发的转向。这些转向分为两类:将想法与现有工作区分开来以确立其新颖性,以及将想法与现有工作对齐以在其基础上发展。这个项目本身在确定其贡献之前也经历了两次转向。
这些变化可能难以应对。在一项形成性研究中,五名研究者使用文本编辑器和标准搜索工具制定提案。他们在发展想法的同时对照文献对其进行批判性评估时遇到了困难。当一篇论文对某个想法的新颖性提出挑战时,他们希望获得具体的修改建议,并有先前工作作为支撑。这些发现塑造了 LitPivot 的评估方式:将文献支撑的批评与针对所选想法部分的具体修改建议配对呈现。
LitPivot 如何工作
在 LitPivot 中,研究者首先在编辑器中撰写一份简短提案,并启用我们所说的方面高亮功能,该功能将已表述的想法切分为不同方面(即问题、贡献和评估)。要检查某个拟议方面,研究者点击草稿中的该片段。相邻面板会根据所选方面对相关论文进行分组(例如,当选中评估方面时,按论文使用的评估方法分组),并高亮最相关的分组。研究者选择论文、请求评估,并查看建议的修改以及支撑批评的摘录。随后,文献会根据修改后方面的相关性重新排序。
具体而言,LitPivot 将研究想法拆分为其问题、拟议贡献和评估计划。每个方面都有各自的相关文献集合和相关性排序。LitPivot 围绕正在编辑的方面对检索到的论文进行分组,让研究者选择系统应使用哪些论文来评估草稿。
与 Prism 等科学写作环境和 Claude Code 等智能体助手一样,LitPivot 探索了一种发展早期研究想法的新工作流:选择用于评估该想法的文献,利用这些证据修改想法,并随着想法的变化重新考虑哪些论文重要。其论文分组和关联批评使这些步骤对提案的每个部分都清晰可见,同时研究者掌控草稿和用于评估的证据。
对于问题陈述,LitPivot 寻找问题存在的证据以及其重要性的理由。为评估拟议贡献,它将所选论文已经解决的内容与它们描述的局限性和未来工作进行比较,寻找剩余的空白。对于评估计划,它检查拟议的测试是否针对研究问题,以及类似工作是如何被评估的。随后,系统会给出附有支撑引文的改写建议。
改变想法的一个方面可能会使另一个方面过时。LitPivot 会标记可能需要修改的段落,例如某个评估计划不再能充分评估修改后的贡献。研究者可以接受、编辑或拒绝建议,并随着提案的发展请求新论文或刷新文献排序。
我们的发现
在我们的实验室研究中,17名研究者分别使用LitPivot和基线工具各发展一个分配到的想法——基线工具是一个文本编辑器,外加一个可就所选论文提问的AI工具。两种条件使用同一批论文。两名领域专家在不知道使用的是哪个系统的情况下,仅按一个标准对所得提案进行评分:它们利用相关文献来支持和论证该想法的程度如何。使用LitPivot发展的提案获得了更高的评分。
同一研究中的参与者还报告称,与基线相比,使用LitPivot时他们对周边文献的理解更强,自评其想法的新颖性和有用性提升也更大。领域专家还审阅了参与者的想法,并评定使用LitPivot修订后的想法在相关文献依据方面显著更好。
我们实验室研究中的一名参与者最初提出的方案是生成一致、事实准确的合成医学笔记。LitPivot发现,多次就诊之间的一致性可能是所选文献中的一个潜在空白。该参与者审阅了摘要,并删除了关于单次就诊笔记的论文。经过又一次评估后,他们将提案收窄为检测多次就诊笔记之间的矛盾。这个例子展示了修订想法与选择用于评估该想法的文献如何相互启发。
在一项后续研究中,五名研究者在30分钟的会话中使用LitPivot处理他们自己正在进行的项目。参与者在多个项目阶段使用了LitPivot,而不仅仅是在开始时。两人用它来对照文献审查新想法,三人用它来完善更成熟想法的框架。一名研究者强调,看到来自不同领域的平行概念如何帮助他们重新构建自己的贡献。
这些研究表明,LitPivot既能支持早期探索,也能支持对现有研究方向的完善。
支持科学发现
在Ai2,我们正在开发AI,以帮助研究者提出可检验的想法并审视其背后的证据。Asta通过从已发表发现中生成理论(Theorizer)、综合,以及在数据上生成和检验假设(AutoDiscovery)来支持这一努力,而HARPA则生成受新兴研究趋势启发的有前景的假设。Scideator让研究者将先前工作的要素重新组合为新想法并评估其新颖性,IdeaSynth则通过基于文献的反馈支持迭代完善。
我们最近的研究《旧想法,新问题》考察了自动化新颖性评估的局限,展示了微小的提示变化如何改变AI评审对相同想法的判定。LitPivot通过将相关文献的选择纳入修订过程,延伸了这一研究方向。研究者可以随着想法的发展改变用于评估提案的论文,然后利用批评意见和支持性摘录来决定如何修订。该系统将这些决策贯穿于提案的问题、贡献和评估计划之中。
我们希望LitPivot的洞见能帮助科学家在现有知识的基础上发展,并将早期想法转化为对其领域的新贡献。