AI News

XYBench:帮模型看清问题背后的真实需求

Hugging Face更新于 11月14日 01:53

XYBench: Helping with the problem behind the question

AI 导读

Allen AI 构建了 XYBench 基准,用 1,557 条 Stack Overflow 问题、184 条 Stack Exchange 问题、102 条人工整理样例和 6,272 条由 WikiHow 生成的问题,区分用户明说的请求(Y)与真正想达成的目标(X)。在 Stack Overflow 上,Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro 的回答中 75–86% 包含对明说请求的解法,仅 59–71% 覆盖真实目标,主要聚焦真实目标的回答只占 35–41%。同一批模型在二选一判断中 71–84% 能选出面向真实目标的答案,说明识别有用建议与主动给出建议之间存在差距。

正文 · AI 翻译

构建 XYBench

我们从四个来源构建了 XYBench:1,557 个来自 Stack Overflow 的问题、184 个来自 Stack Exchange 的问题、102 个手动整理的示例,以及 6,272 个由 WikiHow 指南生成的问题。对于每个问题,我们识别出明说的请求(Y),即提问者明确要求的内容,以及意图请求(X)——即可以从上下文推断出的潜在目标。

对于公共论坛的问题,我们使用得分最高的三个真人回答以及可用的已采纳回答,来确定其意图请求和可能的解决方案。我们过滤掉了那些回答所声明的请求即被视为足够的情况。对于 WikiHow,我们使用 Sonnet 4.5 围绕程序性指南中可能存在的误解生成问题,然后对其进行细化,使其包含足够的上下文,让专家能够在不被直接说明的情况下推断出潜在目标。我们删除了那些回答字面请求就能基本解决问题的示例。

评估一个回答有多大帮助

模型可能会花好几段篇幅推荐吸力更强的吸尘器,然后简短地建议检查软管是否堵塞。如果堵塞正是吸力变弱的原因,那么清除堵塞就能解决问题。

更有帮助的回答会认识到用户想要恢复吸力,并专注于诊断原因。这借鉴了语用学——语言学中研究语境和交际意图如何塑造意义的分支。为了检验模型是否在回答中运用了这种理解,XYBench 从三个方面衡量每个回答:

语用解决方案——记录模型的回答是否包含针对明说请求(Y)和意图请求(X)的解决方案,并分别检查两者。

语用侧重——衡量模型的回答是侧重于明说请求(Y)、侧重于意图请求(X),还是在两者之间取得平衡。

误解识别——衡量模型的回答是否引导用户走向潜在目标(X),同时劝阻或避免错误做法(Y)。

在XYBench中,Claude Sonnet 4.5担任自动评判员。它对每个模型回答中的单条建议进行分类,并评估答案的语用侧重。

为验证Sonnet 4.5的判断,两名人工评审独立评估了500条模型对XYBench问题的回答。评审与评判员的一致率(取两名评审的平均值)在解决方案是否出现方面为97.5–100%,在误解识别方面为84.6–93.3%,在语用侧重方面为74.2–79.8%。

实验表明了什么

我们在单轮设置下于XYBench上评估了Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro,每个问题生成一条回答。我们使用相同的指标单独评估了人类参考答案。

在全部四个来源中,每个模型在回答中包含针对明说请求(Y)的解决方案的可能性,都高于包含针对潜在目标(X)的解决方案。在 Stack Overflow 上,75–86% 的回答包含针对明说请求的解决方案,而包含针对潜在目标解决方案的比例为 59–71%。

仅仅顺带提及某个解决方案,并不意味着它就是回答的重点。在吸尘器的例子中,模型可能简短地建议疏通软管,但把大部分回答集中在购买吸力更强的吸尘器上。我们会将这样的回答计为包含针对潜在目标的解决方案,尽管模型强调的是明说请求。我们单独衡量了整体侧重:在 Stack Overflow 上,模型仅在 35–41% 的回答中主要侧重于潜在目标,在 47–57% 的回答中主要侧重于明说请求。在其余回答中,模型对明说请求和潜在目标的侧重程度相近。

我们还测试了明确给出用户目标是否会有帮助。在一项oracle实验中,我们在每个问题旁同时提供了明说请求(Y)和意图请求(X)。在Stack Overflow上,Sonnet 4.6给出潜在目标解决方案的比例从59%升至67%,但其误解识别率从47%降至34%。在具有人工参考答案的来源中,本实验中的每个模型在误解识别方面仍落后于人类。提供意图有所帮助,但并未持续缩小与人类回答之间的差距。这表明,检测意图只是挑战的一部分:当意图与明说请求不一致时,模型还需要据此采取行动。

另一项独立实验测试了模型在评判回答而非撰写回答时,能否识别出有用的建议。我们向同样的五个模型以及GPT-4.1提供了相同的问题,每个问题配有两个可能的答案:一个聚焦于字面请求,另一个解释误解并针对潜在目标。在Stack Overflow上,全部六个模型在71–84%的情况下选择了聚焦目标的答案。相比之下,在我们主要评估中,这五个模型撰写的回答里只有35–41%主要聚焦于潜在目标。这些结果揭示了识别有用建议与产出有用建议之间的差距,而仅靠多项选择题测试会遗漏这一点。

这对评估意味着什么

研究人员可以使用 XYBench 来测试:对提示词或训练方式的改动,是否有助于模型识别误解、为用户潜在的问题提供解决方案,并让这些解决方案成为回答的重点。分别衡量每一种行为,可以让研究人员看出某一方面的进步是否也能改善其他方面。

未来的工作可以测试哪些训练方法能帮助模型依据推断出的意图行事——也就是用户真正需要什么,而不只是他们字面上问了什么。XYBench 目前覆盖英语查询,且主要针对程序性问题;将其扩展到其他语言、文化和对话场景仍是一个有待探索的方向。

我们希望 XYBench 能让研究人员构建出这样的模型:即使用户的第一个问题建立在错误假设之上,模型也能给出有用的建议。

本文提及的数据集 1

allenai/XYBench-dataset

来自该作者的更多内容

ToyBlocks:一个用于机器人学习与评估的可控世界

StateBench:测试语言模型如何在长文档中追踪状态变化

本文提及的数据集 1

allenai/XYBench-dataset

来源

Hugging Face