←新闻详情

Arena更新于 10月25日 23:33

Arena 追踪六大 AI 实验室智能体四项信号

The biggest gap between AI labs isn't whether their agents get the job done. It's whether users actually enjoy working with them.

AI 导读

Arena 追踪 Anthropic、OpenAI、Google DeepMind、Kimi、xAI 和 DeepSeek 的最佳智能体在 6 月底至 10 月初的四项 Agent Arena 信号,发现实验室间最大差距在于用户是否享受使用体验。Praise vs Complaint 上 OpenAI 和 Anthropic 高出榜单均值 +35 分,Moonshot、xAI 和 DeepSeek 在 +5 至 +13 之间;Confirmed Success 上平均实验室最佳模型三个月内从 -4 升至 +14 分,Anthropic 以 Claude Opus 5.5 (Max) 的 +20 领先。Bash Recovery 分差从 34 缩至 16 分,Steerability 从 19 缩至 11 分。

正文 · AI 翻译

AI 实验室之间最大的差距不在于它们的智能体能否完成任务,而在于用户是否真正享受与它们共事。

我们追踪了 @AnthropicAI、@OpenAI、@GoogleDeepMind、@Kimi_Moonshot、@spacexai 和 @deepseek_ai 的最佳智能体在 6 月底至 10 月初期间使用的 4 项关键 Agent Arena 信号,以观察行业正在如何转变。

有三点尤为突出:1. 用户对某些智能体的喜爱程度远高于其他智能体。

在 Praise vs Complaint(好评与投诉)上,OpenAI 和 Anthropic 比排行榜平均值高出 +35 分。Moonshot、xAI 和 DeepSeek 则落在 +5 至 +13 之间。没有其他信号能将各实验室拉开如此大的差距。

2. 智能体在交付能力上正大幅提升。

在 Confirmed Success(确认成功)上,各实验室最佳模型的平均得分在三个月内从 -4 升至 +14 分。Anthropic 以 Claude Opus 5.5 (Max) 的 +20 领先。

3. 各实验室在错误恢复和引导性上正趋于一致。

自 6 月以来,六家实验室在 Bash Recovery(Bash 恢复)上的分差缩小了一半以上(34 → 16 分),在 Steerability(可引导性)上则几乎减半(19 → 11)。

简而言之,各实验室在避免失败方面正在迎头赶上。

而让用户满意,正是前三名拉开差距的地方。

来源

Arena