先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
ServiceNow 与 McGill 论文：AI 评判长程电脑操作任务仍会漏掉细微错误事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月14日
Rohan Paul
ServiceNow 与 McGill 论文：AI 评判长程电脑操作任务仍会漏掉细微错误
ServiceNow 与 McGill 的新论文发现，AI 评判在长程电脑操作任务中仍会漏掉细微错误，给评判模型配工具也不能稳定改善表现。研究团队构建了 AgentHorizon，从人类屏幕录制中整理出 1,373 个评判任务，通过录制近乎相同但互换指令的任务对，让每次失败都对应一个略有差异的请求。表现最好的 GPT-5.5 在 Codex 中于困难子集取得 80.9% 平衡准确率（全判通过为 50%）；Qwen 3.6 27B 直接读完整运行记录得 77.6%，作为智能体运行时降至 70.4%。作者建议在信任 LLM 评判智能体运行前，先在实际使用的智能体环境中用近义失败样本测试它。