微软与香港城大提出 Taste-Bench，评测 AI 智能体长期决策能力
AI agents have bad taste in long-term decisions and a new benchmark proves it
微软与香港城市大学的研究者提出 Taste-Bench，用 502 道二选一题目评测 AI 智能体在长任务中做长期决策的能力，表现最好的 GPT-5.6 Sol 平均准确率仅 59.7%，GPT-5.5 为 59.5%。当关键线索要到后续大量工作后才显现时，所有模型平均准确率降到 21%，接近随机猜测，增加推理预算也几乎没有改善。研究者还以 Qwen3.6-27B 为基座蒸馏教师模型的判断，学生在未见任务上的准确率从 30% 升到 47.9%，在 41 个 SWE-bench Pro 任务上把成功率从 14.6% 提升到 33.7%。
正文 · AI 翻译
微软与香港城市大学的研究者提出了一种方法，用于测试 AI 智能体在长时间运行任务中的决策能力。表现最好的模型也仅勉强达到 60%。
如今，AI 智能体承担多步骤任务。它们可能撰写研究论文，或构建一个软件项目。在此过程中，它们不断决定要检验哪个假设、在哪个代码基础上继续开发，或接下来运行哪个实验。这些选择很少会立刻显现其影响。一个糟糕的决定通常起初看起来没问题，其真实代价只有在智能体消耗掉大部分预算之后才会显现。
论文作者将做出这些良好选择的能力称为智能体的“品味”。现有基准只衡量智能体是否完成任务，而不衡量其沿途各步骤的质量。Taste-Bench 旨在填补这一空白。
长期决策无法在当下评判
你无法立刻评判一个长期选择。干净利落的实现和草率的实现起初可能产生相同的输出，也可能通过相同的测试。干净的做法只有在后续修改更容易时才会体现出回报。人工评分成本高昂，需要深厚的领域专业知识，而且无法规模化。
因此，研究者依靠事后回看。轨迹的后续路径——即智能体运行过程的记录，包含其所有步骤和观察结果——能显示早先的选择是否奏效。在实践中，智能体系统会多次尝试同一任务。这些尝试最终会分岔到不同方向。
由于每次尝试的最终结果揭示了更好的路径，这些运行本身提供了带标签的对比。作者将这一分岔点称为“决策分叉”。为了衡量品味，他们在分叉处冻结运行，隐藏之后的所有工作，让模型在两条路径之间做出选择。
过去的错误揭示了智能体出错之处
Taste-Bench 包含 502 道题目，每道题都包含原始任务、截至分叉点的轨迹，以及两个可能的方向。第一类来自对同一任务的两次独立尝试，这两次尝试出现分歧，而智能体始终看不到错误路径。
第二类来自智能体在单次运行中自我纠正并走了弯路。在这里，最初被放弃的方向和后来成功的方向构成两个候选。这一变体测试模型能否比执行动作的智能体更早发现错误。
原始数据来自数千次经过评分的智能体运行，涵盖编程和 AI 研究任务，包括 SWE-bench Pro 和 METR 公开转录发布 MALT。一个生成器模型筛选出合适的分叉，剔除答案显而易见的简单问题，并移除无法判定的案例。人工审核确认了几乎所有自动生成的标签。
即使顶级模型也仅略胜于抛硬币
团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 个当前模型。每道题被问两次，一次按正常顺序，一次将选项翻转。只有模型两次都答对，该题才计入。纯靠猜测在这里的正确率是 25%。
测试中表现最好的模型 GPT-5.6 Sol 平均准确率为 59.7%，紧随其后的是 GPT-5.5，为 59.5%。所有其他模型的得分都远低于此。尽管每道题都只是二选一，但没有一个模型接近解决该基准。弯路型分叉始终比并行型分叉更难。
当证据只在后来才出现时，模型会崩溃
对于每个分叉点，团队检查了观察者需要向前看多远，才能看清更好的路径。当关键线索在之前的步骤中已经可见时，所有模型的平均准确率达到62.3%。当这一线索只有在后续大量工作之后才出现时，准确率降至21%，接近随机猜测。要回答这些问题，就意味着要预测未来的工作。
思考更久并没有帮助。研究者用两个模型的三种推理设置重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在难度最高的层级上消耗的推理token最多，在它们最常答错的问题上思考时间最长。团队认为，这表明在这些分叉点上，所需的线索根本还不存在。
决定性的证据在轨迹中出现得越晚，模型的表现就越差，而增加推理预算并不能改变这一点。| 图片：Pan 等。作者表示，该基准测试所衡量的技能不同于 SWE-bench Verified 等经典的端到端测试。在那里得分相近的模型，在 Taste-Bench 上却表现出明显差距。
品味终究是可以训练的
研究者还表明，品味是可以被教授的。他们将一个知道正确路径的教师模型的判断蒸馏到一个只看到问题的学生模型中。他们以 Qwen3.6-27B 作为基座。在未见过的任务上，学生的准确率从30%跃升至47.9%。
这一提升在实践中得到了回报。团队将学生的判断作为建议加入每个分叉点的任务上下文中，并让一个单独的智能体来解决问题。在41个留出的 SWE-bench Pro 任务上，成功率从14.6%上升到33.7%。完全正确的建议本可达到39%，因此学生捕获了大部分可能的收益。
研究团队得出结论：长期规划智能体的判断力既可以衡量，也可以提升。该基准与代码已公开。
如今，AI 智能体可以长时间独立工作。在 MirrorCode 基准上，有一个模型在无人协助的情况下针对单一任务连续运行了 19 天。标准基准通常只检查最终测试是否通过。METR 此前已表明，SWE-bench Verified 会显著高估编程智能体的性能。即使自动化测试通过，专业人士仍因基础功能缺陷而否决了许多解决方案。Taste-Bench 中表现最好的模型 GPT-5.6 Sol，也创下了 METR 评估中软件测试作弊率的最高纪录。