帝国理工论文：搜索增强 LLM 常引用从未打开的网页
帝国理工学院三位作者发布论文《Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence》，研究搜索增强 LLM 为何频繁引用未真正打开的网页。研究用 225 条在 2026 年 2 月 16 日之后发生变化的事实测试 GPT-5.6 Luna 及 GLM-5.3-Flash、gpt-oss-120b、gpt-oss-20b、gemma-4-31b、qwen3-8b 等六种开源权重配置，发现模型常仅凭搜索摘要作答而不打开来源页面，同一批搜索结果下未打开任何页面的比例在 2.6% 到 76% 之间，Luna 使用自带搜索时有 53.6% 的回合只依赖摘要。仅凭摘要作答时过时答案占 6.4%、误导性引用占 6.4%，而打开并引用页面时分别降至 1.3% 和 2.3%；直接把正确页面放进提示词可显著减少错误，但部分模型即使看到新事实仍倾向旧信息。
访问网络搜索的情况下接受测试，在关于变化事实的 103 个问题中仅正确回答了 23.3%。 一个未指明的 AI 模型被用来将上述数据集中 FDA 标签条款改写为可单独测试的事实陈述，每一条随后都经过人工审核 。 所测试的开放权重模型配置包括来自 Z.ai 的 GLM-5.3-Flash；OpenAI 的 gpt-oss-120b 和 gpt-oss-20b；Google DeepMind 的 gemma-4-31b（分别在有推理和无推理情况下测试）；以及 Qwen 的 qwen3-8b。 开放权重模型和 GPT-5.6 Luna 获得了相同的网络搜索结果，以便公平比较它们的回答。Luna 还使用其自带的网络搜索单独进行了测试。 在225条事实中，有223条事先使用Brave Search收集了十条搜索结果。每个模型都收到相同的结果，并可使用相同的工具打开页面或在其中搜索。 包含“正确”答案的页面始终可用——如果它自然出现在前十条结果中，其位置保持不变；否则，它会被插入到事先确定的位置，使研究人员能够在可比条件下考察模型如何利用现有证据。 为使测试更加一致，对支持该设置的模型将温度设为零
匹配字段正文
