先了解这件事
AI 综述
微软与香港城市大学的研究者构建了Taste-Bench,用于评测AI智能体在长任务中的长期决策能力。该基准包含502道二选一题目。据The Decoder报道,表现最好的GPT-5.6 Sol平均准确率仅59.7%,GPT-5.5为59.5%。当关键线索要到后续大量工作后才显现时,所有模型平均准确率降到21%,接近随机猜测,增加推理预算也几乎没有改善。研究者还以Qwen3.6-27B为基座蒸馏教师模型的判断,学生在未见任务上的准确率从30%升到47.9%,在41个SWE-bench Pro任务上把成功率从14.6%提升到33.7%。
AI 根据公开报道生成
最新进展 · 正式报道
微软与香港城大提出 Taste-Bench，评测 AI 智能体长期决策能力事件进展
1 个已确认进展
- 来源：The Decoder
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月18日
The Decoder
微软与香港城大提出 Taste-Bench，评测 AI 智能体长期决策能力
微软与香港城市大学的研究者提出 Taste-Bench，用 502 道二选一题目评测 AI 智能体在长任务中做长期决策的能力，表现最好的 GPT-5.6 Sol 平均准确率仅 59.7%，GPT-5.5 为 59.5%。当关键线索要到后续大量工作后才显现时，所有模型平均准确率降到 21%，接近随机猜测，增加推理预算也几乎没有改善。研究者还以 Qwen3.6-27B 为基座蒸馏教师模型的判断，学生在未见任务上的准确率从 30% 升到 47.9%，在 41 个 SWE-bench Pro 任务上把成功率从 14.6% 提升到 33.7%。