←事件详情

热点事件

Transluce用Docent诊断Terminal-Bench性能回退

1 篇正式报道1 条事件动态更新于 2月11日 08:00

先了解这件事

AI 综述

2026年2月11日,Transluce发布分析,用其trace分析工具Docent诊断GPT-5.1 Codex在Terminal-Bench上落后GPT-5 Codex的原因。据该分析,官方榜单上两者差距为6.5个百分点,Transluce自测差距为11.4个百分点。分析发现,这一回退主要源于超时而非能力差异:GPT-5.1 Codex超时率为49%,GPT-5 Codex为29%,而Terminal-Bench系统提示词从未提及时间限制。在过滤掉双方均未超时的任务后,GPT-5.1 Codex反而领先7个百分点。目前该分析为Transluce单方发布,尚无其他来源的独立证据。

AI 根据公开报道生成

最新进展 · 正式报道

用 Docent 诊断 Terminal-Bench 上 GPT-5.1 Codex 的性能回退

事件进展

1 个已确认进展

  1. Transluce用Docent诊断Terminal-Bench性能回退

    来源:Transluce

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

2月11日

  1. Transluce一手

    用 Docent 诊断 Terminal-Bench 上 GPT-5.1 Codex 的性能回退

    Transluce 用其 trace 分析工具 Docent 诊断 GPT-5.1 Codex 在 Terminal-Bench 上落后 GPT-5 Codex 的原因:官方榜单差距 6.5 个百分点,自测差距 11.4 个百分点。分析发现回退主要源于超时而非能力:GPT-5.1 Codex 超时率 49%,GPT-5 Codex 为 29%,而 Terminal-Bench 系统提示词从未提及时间限制。过滤掉双方均未超时的任务后,GPT-5.1 Codex 反而领先 7 个百分点。

关联事件

  1. 相关事件Browser Use 在 Online-Mind2Web 上取得 97% 最高分
  2. 相关事件小米MiMo-V2.5-Pro在Arena榜单取得多项突破
  3. 相关事件Cognition 发布多模型 harness Devin Fusion
  4. 相关事件OpenRouter推出Ori Eval模型评测工具