AI News

Ai2 发布 XYBench:测试 AI 助手能否识别用户问题背后的错误假设

Ai2 Blog更新于 11月14日 01:49

XYBench: Helping with the problem behind the question | Ai2

AI 导读

Ai2 联合卡内基梅隆、NVIDIA 和约翰霍普金斯大学发布 XYBench,包含 8,115 个真实问题,用于测试 AI 助手能否识别用户提问中的错误假设并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。在 Stack Overflow 问题上,Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 的回答中 75–86% 包含对表面请求的解决方案,仅 59–71% 涉及真实目标,且只有 35–41% 的回答主要聚焦真实目标。

正文 · AI 翻译

XYBench:帮助解决提问背后的问题

真正有用的 AI 助手需要能够帮助那些提出错误问题的用户——而不仅仅是那些以恰当详细程度提出正确问题的用户。我们发布 XYBench,这是一个包含 8K+ 问题的基准,用于测试 AI 助手如何回应基于错误认知的请求,例如询问如何让总是从纸杯蛋糕上滑落的糖霜变稠,而真正的问题是纸杯蛋糕仍然太热,无法涂抹糖霜。XYBench 在 EMNLP 2026 上获得了最佳资源论文奖。

一个人所询问的方法与其想要实现的目标之间的不匹配被称为 XY 问题:一个人想要完成 X,假设某种特定方法 Y 会奏效,并寻求关于 Y 的帮助。在纸杯蛋糕的例子中,这个人如此执着于让糖霜粘住,以至于没有考虑到纸杯蛋糕的温度才是真正需要解决的问题。

XYBench 由 Ai2 与卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学的研究人员共同开发,揭示了 LLM 在排查问题能力方面的关键缺口:识别用户的请求何时基于隐含的错误认知,并适当地将其引导向解决其实际目标的方案。我们基于 8,115 个真实世界问题——涵盖编程以及烹饪和家居维修等日常活动——推出了一个基准,用于衡量模型是否能识别这些错误认知,并能在回答中优先给出有效的解决方案。

我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——常常为用户的问题提出解决方案,但将回答重点放在最初的错误方法上。与人类参考答案不同,这五个模型都更不可能引导用户远离该方法,转向适合其目标的解决方案。

人们以不同的知识水平使用 AI 系统,并且可能并不总是知道如何最好地处理一个问题。我们希望 XYBench 能帮助研究人员衡量模型改进是否使助手更善于识别错误假设、解释所提出的方法为何可能无效,并建议更有效的替代方案——即使用户不知道应该问什么正确的问题。

构建 XYBench

我们从四个来源构建了 XYBench:来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个问题、102 个手动整理的示例,以及从 WikiHow 指南生成的 6,272 个问题。对于每个问题,我们识别了表面请求(Y),即人们明确要求的内容,以及意图请求(X)——即可以从上下文中推断出的潜在目标。

对于公共论坛问题,我们使用得分最高的三个人类回答以及被采纳的回答(如有),来确定意图请求和可能的解决方案。我们过滤掉了那些回答表面请求就被认为足够的情况。对于 WikiHow,我们使用 Sonnet 4.5 围绕程序指南中可能的错误认知生成问题,然后对其进行改进,使其包含足够的上下文,让专家能够在不直接说明的情况下推断出潜在目标。我们删除了那些回答字面请求就能基本解决问题的示例。

评估回答如何提供帮助

模型可能会花好几段推荐一款更强劲的吸尘器,然后简短地建议检查软管是否堵塞。如果吸力弱是由堵塞造成的,清除堵塞就能解决问题。

更有帮助的回答会认识到用户想要恢复吸力,并专注于诊断原因。这涉及语用学,即语言学中研究语境和交际意图如何塑造意义的分支。为了测试模型是否在回答中运用了这种理解,XYBench 衡量每个回答的三个维度:

语用解决方案——记录模型的回答是否包含针对表面请求(Y)和意图请求(X)的解决方案,并分别检查。

语用侧重——衡量模型的回答是侧重于表面请求(Y)、侧重于意图请求(X),还是平衡两者。

错误认知识别——衡量模型的回答是否将用户引导向潜在目标(X),同时劝阻或避免错误方法(Y)。

在 XYBench 中,Claude Sonnet 4.5 担任自动评判员。它对每个模型回答中的各个建议进行分类,并评估回答的语用侧重。

为了验证 Sonnet 4.5 的判断,两名人类评审员独立评估了 500 个模型对 XYBench 问题的回答。评审员平均与评判员的一致率在是否出现解决方案方面为 97.5–100%,在错误认知识别方面为 84.6–93.3%,在语用侧重方面为 74.2–79.8%。

实验表明了什么

我们在单轮设置下于 XYBench 上评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro,每个问题一个回答。我们使用相同的指标单独评估了人类参考答案。

在全部四个来源中,每个模型在回答中给出针对所述请求(Y)的解决方案的可能性,都高于给出针对潜在目标(X)的解决方案。在 Stack Overflow 上,75–86% 的回答包含针对所述请求的解决方案,而包含针对潜在目标解决方案的比例为 59–71%。

仅仅顺带提及某个解决方案,并不意味着它就是回答的重点。在吸尘器的例子中,模型可能简短地建议疏通软管,但把大部分回答集中在购买吸力更强的吸尘器上。我们会将这样的回答计为包含针对潜在目标的解决方案,尽管模型强调的是所述请求。我们单独衡量了整体侧重:在 Stack Overflow 上,模型仅在 35–41% 的回答中主要侧重于潜在目标,在 47–57% 的回答中主要侧重于所述请求。在其余回答中,模型对所述请求和潜在目标的侧重程度相近。五个模型与人类最佳回答在 XYBench 的 Stack Overflow 问题上的表现

提及针对潜在目标的修复方法(例如,疏通吸尘器软管)

将回答重点放在潜在目标上(例如,大部分建议都是关于疏通吸尘器软管)

引导用户走向目标,而非错误做法(例如,疏通吸尘器软管,而不是买一个新的)

我们还测试了明确给出用户目标是否会有帮助。在一项 oracle 实验中,我们在每个问题旁同时提供了所述请求(Y)和意图请求(X)。在 Stack Overflow 上,Sonnet 4.6 包含针对潜在目标解决方案的比例从 59% 升至 67%,但其错误认知识别率从 47% 降至 34%。在有人类参考答案的来源中,该实验里的每个模型在错误认知识别上仍落后于人类。提供意图有所帮助,但并未稳定地缩小与人类回答之间的差距。这表明,识别意图只是挑战的一部分:当意图与所述请求不一致时,模型还需要据此采取行动。

另一项独立实验测试了模型在评判回答而非撰写回答时,能否识别出有用的建议。我们向同样的五个模型以及 GPT-4.1 提供了每个问题及两个可能的回答:一个聚焦于字面请求,另一个解释错误认知并针对潜在目标。在 Stack Overflow 上,全部六个模型在 71–84% 的情况下选择了聚焦目标的回答。相比之下,在我们主评估中,五个模型撰写的回答里只有 35–41% 主要聚焦于潜在目标。这些结果揭示了识别有用建议与产出有用建议之间的差距,而仅靠多项选择题测试无法发现这一点。在 XYBench 的 Stack Overflow 问题上选择并撰写聚焦目标的回答

在给出两个选项时选择聚焦目标的回答(例如,选择疏通吸尘器软管而非购买新吸尘器)

将回答重点放在潜在目标上(例如,大部分建议都是关于疏通吸尘器软管)

这对评估意味着什么

研究人员可以使用 XYBench 来测试提示词或训练方式的改变是否有助于模型识别错误认知、为用户潜在问题提供解决方案,并使这些解决方案成为回答的重点。分别衡量每种行为,可以让研究人员看出某一方面的进展是否也能改善其他方面。

未来的工作可以测试哪些训练方法有助于模型依据推断出的意图采取行动——也就是用户需要什么,而不仅仅是他们字面上问了什么。XYBench 目前涵盖英语查询,且主要是程序性问题;将其扩展到其他语言、文化和对话场景仍是一个开放方向。

我们希望 XYBench 能让研究人员构建出这样的模型:即使用户的第一个问题建立在错误假设之上,模型也能提供有用的建议。

加入我们

在 Ai2,我们正在构建透明、开源 AI 的未来——以开放方式构建,以推动科学进步,并促进对这项改变世界的技术的基本理解。我们不是为了盈利,而是为了确保 AI 的益处被广泛共享、造福人类。如果这吸引你,请看看我们的开放职位。开放职位

来源

Ai2 Blog