Arena 追踪六大 AI 实验室智能体四项信号
The biggest gap between AI labs isn't whether their agents get the job done. It's whether users actually enjoy working with them.
Arena 追踪 Anthropic、OpenAI、Google DeepMind、Kimi、xAI 和 DeepSeek 的最佳智能体在 6 月底至 10 月初的四项 Agent Arena 信号,发现实验室间最大差距在于用户是否享受使用体验。Praise vs Complaint 上 OpenAI 和 Anthropic 高出榜单均值 +35 分,Moonshot、xAI 和 DeepSeek 在 +5 至 +13 之间;Confirmed Success 上平均实验室最佳模型三个月内从 -4 升至 +14 分,Anthropic 以 Claude Opus 5.5 (Max) 的 +20 领先。Bash Recovery 分差从 34 缩至 16 分,Steerability 从 19 缩至 11 分。
正文 · AI 翻译
AI 实验室之间最大的差距不在于它们的智能体能否完成任务,而在于用户是否真正享受与它们共事。
我们追踪了 @AnthropicAI、@OpenAI、@GoogleDeepMind、@Kimi_Moonshot、@spacexai 和 @deepseek_ai 的最佳智能体在 6 月底至 10 月初期间使用的 4 项关键 Agent Arena 信号,以观察行业正在如何转变。
有三点尤为突出:1. 用户对某些智能体的喜爱程度远高于其他智能体。
在 Praise vs Complaint(好评与投诉)上,OpenAI 和 Anthropic 比排行榜平均值高出 +35 分。Moonshot、xAI 和 DeepSeek 则落在 +5 至 +13 之间。没有其他信号能将各实验室拉开如此大的差距。
2. 智能体在交付能力上正大幅提升。
在 Confirmed Success(确认成功)上,各实验室最佳模型的平均得分在三个月内从 -4 升至 +14 分。Anthropic 以 Claude Opus 5.5 (Max) 的 +20 领先。
3. 各实验室在错误恢复和引导性上正趋于一致。
自 6 月以来,六家实验室在 Bash Recovery(Bash 恢复)上的分差缩小了一半以上(34 → 16 分),在 Steerability(可引导性)上则几乎减半(19 → 11)。
简而言之,各实验室在避免失败方面正在迎头赶上。
而让用户满意,正是前三名拉开差距的地方。