帝国理工论文：搜索增强 LLM 常引用从未打开的网页

有时，一篇论文会从当天的文献流中冒出来，让我热血沸腾——不是因为它不准确或冒犯人，而是因为它注意到并研究了一件长期以来一直以模糊而不具体的方式困扰着我、处于我意识边缘的事情（也许是因为我太忙了，除了忽略它什么也做不了）。

今天就有这样一篇论文问世，来自伦敦帝国理工学院计算系的三位作者。这篇题为《Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence》（检索但未阅读：理解为何搜索增强型大语言模型无法利用现有证据）的新作，调查了大语言模型（LLM）为何经常向你抛出支持性网址（不相关的论文引用、指向虚假网络文章的链接等），却根本不读它们。

作者们表示：

“我们发现，模型常常仅凭搜索摘要作答而不打开来源页面，这与更高的过时答案率和不可靠引用率相关。我们的受控实验和逐层分析揭示了证据的可获得性与有效利用之间的差距。

‘即使检索到的证据影响了内部预测，模型在最终答案中仍可能偏向过时信息。’”

作者们测试了一个专有 LLM（OpenAI 的 GPT-5.6 Luna）和六种开放权重模型配置，针对数百条自模型训练截止日期以来已经发生变化的事实进行了测试。

随后，他们考察了这些系统依赖搜索摘要而非打开来源页面的频率；这如何影响其答案和引用的准确性；以及为什么即使直接提供了更新的证据，过时信息有时仍会占上风。

测试发现，模型经常在未打开网络搜索返回的任何页面的情况下回答问题，且这种行为与显著更高的过时答案率和误导性引用率相关：

测试结果揭示了 AI 模型引用网络来源却并未真正阅读它们的频率。在八种配置中，研究人员测量了答案准确性、未打开来源页面而依赖搜索摘要的情况，以及与模型主张相矛盾的引用。在某些情况下，超过一半的搜索结束时没有打开任何一个页面。所有数字均为百分比；第一行使用实时网络搜索，其余使用标准化搜索结果。来源

研究人员还发现，直接提供正确证据可以大幅减少这些失败，尽管一些模型即使更新的信息就摆在眼前，仍继续偏向过时信息。

隐藏动机？

LLM 经常向我们抛出“听起来正确”但并不贴切的佐证文件，两个最明显的原因是：a) 省钱，因为下载并阅读实际材料（哪怕只是摘要）需要消耗带宽和时间，而且这些材料甚至可能根本不可得；b) 省延迟，因为快速给你一个错误或半错误的答案，似乎比稍微延迟给出更好的答案更划算。

然而，这项新研究的作者更感兴趣的是确立这种质量缺陷的基本机制，而不是它最初可能是如何被设计或预设的。

不出所料，迄今为止我与前沿模型讨论 LLM 规模经济的经历，引出了我只能认为是预先注定的防御性回应。

以这种方式钻营 LLM 引用行为的经济账是说得通的，至少在我看来如此；但实际技术仍如此未被摸清、处于如此多变的状态、如此容易产生古怪结果，以至于目前很难证明这类动机。

方法

为了测试模型实际利用网络证据的效果，研究人员汇集了 225 条自 2026 年 2 月 16 日以来发生变化的事实——这是所测试模型中最新的已报告训练截止日期。

这些事实来自 FDA 药品信息（62 条）、金融（52 条）、体育（47 条）、人物（43 条）、SEC 文件（13 条）和化学分类（8 条）。在截止日期前已经生效、或在 2 月 1 日前已宣布的变化被排除在外——可以用常识回答的医学主张也被排除。未变化的事实也被用作对照，使研究人员能够区分涉及新信息的失败与更一般的错误。

为建立基线，GPT-5.6 Luna 在无法访问网络搜索的情况下接受测试，在关于变化事实的 103 个问题中仅正确回答了 23.3%。

一个未指明的 AI 模型被用来将上述数据集中 FDA 标签条款改写为可单独测试的事实陈述，每一条随后都经过人工审核*。

所测试的开放权重模型配置包括来自 Z.ai 的 GLM-5.3-Flash；OpenAI 的 gpt-oss-120b 和 gpt-oss-20b；Google DeepMind 的 gemma-4-31b（分别在有推理和无推理情况下测试）；以及 Qwen 的 qwen3-8b。

开放权重模型和 GPT-5.6 Luna 获得了相同的网络搜索结果，以便公平比较它们的回答。Luna 还使用其自带的网络搜索单独进行了测试。

在225条事实中，有223条事先使用Brave Search收集了十条搜索结果。每个模型都收到相同的结果，并可使用相同的工具打开页面或在其中搜索。

包含“正确”答案的页面始终可用——如果它自然出现在前十条结果中，其位置保持不变；否则，它会被插入到事先确定的位置，使研究人员能够在可比条件下考察模型如何利用现有证据。

为使测试更加一致，对支持该设置的模型将温度设为零，且在整个实验过程中，每个模型都通过同一提供商运行。

提示词形式

用于测试事实的两个提示词中，第一个提出开放式问题，例如“贝尔纳多·席尔瓦效力于哪家俱乐部？”——可附带或不附带提供来源的要求；第二个要求模型核实一句包含当前或过时信息的陈述，使研究人员能够比较每种版本的处理方式。

在合并结果中还使用了四种额外的提示词类型：带提示的开放式问题；要求提供引文；要求提供支持所给主张的引用；以及事实表核查，即要求模型在若干正确陈述中找出一个过时陈述。

用于测试模型的实际提示词示例，基于关于足球运动员贝尔纳多·席尔瓦的问题和主张。该表展示了同一事实问题如何通过不同的回答、核实、引文和引用请求呈现。所有提示词均以日期2026年8月8日开头，且大多数要求按表下字母标注的说明给出标准化的最终答案。

每个提示词都指定了日期，且大多数要求以固定格式作答，允许给出“无法核实”的回答，从而使结果无需人工或基于LLM的裁定即可评分。

所用指标包括阅读深度（是否打开并引用了来源页面）；答案准确性（正确答案的百分比，不含弃答）；以及引用忠实度（所引页面是否与模型的主张相矛盾）。

评分尽可能自动化，允许一个（未指明的）LLM仅在引用得到存档页面中确切段落支持时才予以认可；需要解释的负面判断交由人工审核者；并使用未变化的对照事实来确定每个模型的基线引用错误率。

结果

在初步测试中（如本文开头所示），访问网络搜索提高了模型正确回答问题的能力。在核查事实陈述是否准确时，其得分提高了27至42个百分点。在直接回答问题时，它们在85.8%至95.4%的情况下给出了正确答案。

然而，许多答案是在模型并未实际访问其搜索返回的网站的情况下生成的。相反，它们依赖搜索结果旁显示的简短文本摘录。即使提供相同的搜索结果，未打开任何页面的搜索比例也因模型而异，从2.6%到76%不等。

在此背景下，GPT-5.6 Luna的表现尤为敷衍：

“在相同的搜索结果下，模型在2.6%至76.0%的回合中未打开任何页面就作答。在其原生搜索下，Luna有53.6%的回合仅凭摘要作答。”

测试结果比较了过时答案和误导性引用与模型检查搜索结果的彻底程度之间的关系。Snippet表示未打开任何网页；Opened表示打开了页面但未引用；Integr.表示引用了一个已打开的页面。所有数字均为在七种模型配置和所有提示词类型上汇总的百分比。当模型仅依赖搜索摘要时，错误通常更频繁。

在七种模型配置中，仅凭摘要的答案有6.4%是过时的，而引用已打开页面时为1.3%。误导性引用也更频繁，分别为6.4%和2.3%，如上所示。对于体育类问题，开放权重模型中的过时答案达到20.2%，而对照为2.1%。当答案过时时，支持这些主张的引用中有81.8%与之相矛盾，而最新答案中这一比例仅为0.9%。事实表测试中也出现了类似模式。

这实际上意味着，所研究的AI模型在依赖搜索结果中显示的简短描述而非阅读实际网页时，更可能给出错误答案。更糟的是，它们有时会链接到证明其答案错误的页面。

共同的失败

除非这些测试所用的选择是“集体离群值”，否则似乎有理由假定其他模型，无论闭源还是开源，都受到这一综合征的影响。事实上，在GPT-5.6 Luna的实时网络搜索中观察到的九类失败中，有七类与其他模型使用相同固定搜索结果测试时的失败显著相关，表明这些问题并不限于Luna。

直接提供正确的维基百科页面显著减少了过时答案，gemma-4-31b的失败次数从14次降至零；gpt-oss-20b从11次降至1次；qwen3-8b从16次降至8次。在每次打开页面后重复原始问题，还纠正了此前失败的事实表检查中的26.1%。

结果显示了gemma-4-31b、gpt-oss-20b和qwen3-8b在不同条件下接受过时主张的频率。相同的证据要么被隐瞒，要么直接提供在提示词中，要么通过搜索结果提供，并另设测试要求提供支持来源。直接提供正确页面比要求模型自行查找要有效得多。数字显示的是相对于测试总数的失败次数。

俱乐部规则

最后，为了更好地理解AI为何有时会忽略正确信息，研究人员在更换过俱乐部的足球运动员问题上测试了三个开放权重模型：gpt-oss-20b、gemma-4-31b和qwen3-8b。

每个模型都被给予关于某位球员俱乐部的过时信息，有时还同时提供正确的维基百科页面，并检查其在处理过程中倾向于哪个答案。

结果显示，模型能够识别出正确的俱乐部——但仍然给出错误答案：

测试结果显示了qwen3-8b在形成答案时如何权衡正确的和过时的足球俱乐部。左图显示成功答案，其中正确俱乐部始终保持领先；右图显示失败案例，其中过时俱乐部在最终处理阶段超过了正确俱乐部。阴影区域表示不同测试之间的差异。

在qwen3-8b中，正确俱乐部有时在内部领先，但在答案生成前被过时俱乐部反超（见上文）。gpt-oss-20b中也出现了类似模式，而gemma-4-31b则通常在整个过程中偏向“过时”俱乐部。

因此，即使正确证据可用且被识别出来，它在最终答案中仍可能输给过时信息。

总之，作者建议模型需要更好地利用其检索到的网页，而不是依赖搜索摘要。他们还希望查明模型为何有时即使拥有正确答案仍坚持过时信息；以及改变模型处理信息的方式是否会有帮助。但并未提出明确的解决方案。

结论

虽然提供了一些有价值的见解，但这篇新论文并未解释LLM为何如此随意地使用引用和参考文献。作为一名消费者，以及一个自身对模式进行合理分析的人，我的印象是，我使用的LLM推荐论文或URL，是因为它们被其他……推荐网站……所推荐……？那么，权威感究竟源自何处？

事实上，即使在AI出现之前的世界，这也是一个我们未能解决的问题，因此，如果LLM最终既没有节省成本也没有降低延迟，而只是传播那些我们自欺欺人地认为是“真相”的相同中文谣言，这或许并不令人意外。

* 论文未说明是谁进行了这些审查。

首次发布于2026年10月16日星期五

Martin Anderson

机器学习撰稿人，人类图像合成领域专家。曾任Metaphysic.ai研究内容主管，直至该公司并入DNEG的Brahma.ai。

网站：martinanderson.ai

联系方式：martin@martinanderson.ai

发现更多

mvp-article-cont