Arena 推出 Agent Arena Index 及六项智能体专项指数
Today, we’re excited to introduce the Agent Arena Index, our new headline measure of overall agent performance, alongside six new focused indexes: Agentic Work,
Arena 推出衡量智能体综合表现的 Agent Arena Index,并新增 Agentic Work、Coding、Chat、Task Outcomes、Tool Use 和 Steering 六项专项指数。该指数基于全球社区的数百万项真实任务,综合任务完成、用户褒贬、Bash 可靠性和可引导性四类信号;Claude Fable 5.2 (Max) 以 1463 分居首。配套的 Alignment Index 则依据欺骗性完成、未授权操作和错误归因评估智能体是否遵循用户意图。
查看原帖https://t.co/YieG0GYBat
查看原文
https://t.co/YieG0GYBat
正文 · AI 翻译
今天,我们很高兴推出 Agent Arena Index——衡量智能体综合表现的新核心指标,同时发布六项新的专项指数:Agentic Work、Coding、Chat、Task Outcomes、Tool Use 和 Steering。
这些指数与 Alignment Index 共同构成了一套全面的评估体系,展示智能体在真实任务中的表现,涵盖完成复杂工作流、使用工具以及根据用户反馈进行调整等方面。
Arena 根据全球社区开展的数百万项真实任务衡量智能体的自主行动表现。随着新指数的推出,我们也更新了评分方式,以便更稳定、更直观地呈现智能体在现实世界中的表现。
Claude Fable 5.2 (Max) 以 1463 分领跑 Agent Arena Index,领先 134 分。Agent Arena Index 排名前五的实验室为:
- #1 @AnthropicAI:Claude Fable 5.2 (Max),1463 分 - #2 @GoogleDeepMind:Gemini 4 Carbon (High),1307 分 - #3 @OpenAI:GPT-6 Astra (Max),1274 分 - #4 @AIatMeta:Muse Wonder Full (Max),1200 分 - #5 @Alibaba_Qwen:Qwen4-Max (xHigh),1191 分
Agent Arena Index 综合了反映智能体真实表现的四项关键信号: - 任务完成度:用户明确确认任务成功完成 - 表扬与投诉:用户对智能体任务成果的满意度 - Bash 可靠性:智能体使用终端工具的能力 - 可引导性:智能体响应用户纠正的能力
除能力外,Alignment Index 还根据三项关键信号衡量智能体在多大程度上忠实地按照用户意图行事:欺骗性完成、未授权操作和错误归因。
随着智能体承担日益复杂、周期更长的工作,衡量其现实能力以及与用户意图的一致性比以往任何时候都更加重要。
浏览排名,并在下方的帖子串中了解各项指数衡量的内容。
AI 热点