AI News

热点事件

Ai2联合多机构发布XYBench基准测试

2 篇正式报道1 条相关讨论3 条事件动态更新于 11月14日 01:48

先了解这件事

AI 综述

Ai2联合卡内基梅隆大学、NVIDIA和约翰霍普金斯大学发布XYBench基准,用于测试AI助手能否识别用户提问中的错误假设并引导其解决真正目标。该基准包含8,115个真实问题,获EMNLP 2026最佳资源论文奖。在Stack Overflow问题上,Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro的回答中,75–86%包含对表面请求的解决方案,仅59–71%涉及真实目标,只有35–41%的回答主要聚焦真实目标。同一批模型在二选一判断中71–84%能选出面向真实目标的答案,显示识别有用建议与主动给出建议之间存在差距。

AI 根据公开报道生成

最新进展 · 正式报道

Ai2 发布 XYBench:测试 AI 助手能否识别用户问题背后的错误假设

事件进展

1 个已确认进展

  1. Ai2发布XYBench基准测试

    来源:Ai2 Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. Ai2 Blog一手

    Ai2 发布 XYBench:测试 AI 助手能否识别用户问题背后的错误假设

    Ai2 联合卡内基梅隆、NVIDIA 和约翰霍普金斯大学发布 XYBench,包含 8,115 个真实问题,用于测试 AI 助手能否识别用户提问中的错误假设并引导其解决真正目标,该基准获 EMNLP 2026 最佳资源论文奖。在 Stack Overflow 问题上,Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 的回答中 75–86% 包含对表面请求的解决方案,仅 59–71% 涉及真实目标,且只有 35–41% 的回答主要聚焦真实目标。

  2. Ai2 Blog相关讨论

    Ai2 Blog 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

  3. Hugging Face一手

    XYBench:帮模型看清问题背后的真实需求

    Allen AI 构建了 XYBench 基准,用 1,557 条 Stack Overflow 问题、184 条 Stack Exchange 问题、102 条人工整理样例和 6,272 条由 WikiHow 生成的问题,区分用户明说的请求(Y)与真正想达成的目标(X)。在 Stack Overflow 上,Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro 的回答中 75–86% 包含对明说请求的解法,仅 59–71% 覆盖真实目标,主要聚焦真实目标的回答只占 35–41%。同一批模型在二选一判断中 71–84% 能选出面向真实目标的答案,说明识别有用建议与主动给出建议之间存在差距。

本事件热度走势

当前
5
区间峰值
20 11月14日 02:00
近 24 小时变化
-50%

移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。

关联事件

  1. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  2. 相关事件Dongxi 东锡 NLP质疑权重投影方法缺少副作用评估
  3. 相关事件Thinking Machines Lab介绍Inkling 2 Small端到端4比特训练配方
  4. 相关事件研究团队用ThinkingBox-Bench终端状态检查作RL奖励微调Qwen3.8-27B