Arena.ai 推出 Agent Arena Index 并更新智能体排行榜
The Agent Arena Index
Arena.ai 更新智能体排行榜,推出覆盖超过 2.9M 次用户会话的 Agent Arena Index,以及 Agentic Work、Agentic Coding、Agentic Chat、Task Outcome、Steering 和 Tool Use 等专项索引。新版分数缩放方式不会改变原有模型排名;Tool Hallucination 信号被移除,Confirmed Success 更名为 Task Completion,Alignment Index 保持不变。
正文 · AI 翻译
我们正在更新智能体排行榜,以提供更清晰的分数和更实用的智能体性能基准。
核心排行榜——Agent Arena Index——全面呈现各类智能体工作的性能,涵盖超过 290 万次用户会话(且仍在持续增加)。我们还将推出多个聚焦于特定任务领域和智能体技能的专项指数:Agentic Work、Agentic Coding、Agentic Chat、Task Outcome、Steering 和 Tool Use。Alignment Index 保持不变,继续作为与 Agent Arena Index 并列的衡量指标。
本文将说明自上一版 Agent Arena 排行榜发布以来,我们的方法论如何演变,并介绍今天推出的新指数。
方法论更新
我们最初的 Agent Arena 博客文章所述方法论在核心上保持不变。主要区别在于采用了一种新的分数重新缩放方法,使模型分数随时间的变化更易于解读和比较。这项变更不会影响排名。我们还将调整信号集。下文将详细说明这两项变更。
信号变更
我们将停用 Tool Hallucination 信号,因为前沿模型如今已很少犯调用不存在工具的错误。其他所有信号的定义均保持不变。为使名称更清晰,我们将 Confirmed Success 信号更名为 Task Completion,但其衡量方式不变。
新的分数缩放方式
我们正在引入一种新的分数缩放方式,以便更直观地比较分数随时间的变化。与此前的 Agent Arena 方法论相比,新的评分方式不会改变模型排名。对于固定模型 mmm,此前的方法论估算其净改进分数:
指数
下面将介绍各项核心指数以及新的领域和能力专项指数分别纳入哪些信号和领域。与此前一样,各项信号通过取平均值合并为一个指数。
Agent Arena Index
Agent Arena Index 是衡量所有任务类别和性能信号下智能体性能的综合指标。它采用 Task Completion、Praise vs Complaint、Steerability 和 Bash Reliability 信号,全面反映智能体模型完成实际工作的能力。
Alignment Index
Alignment Index 衡量智能体与用户意图和目标保持一致的程度。它采用所有任务类别中的 Unauthorized Action、False Attribution 和 Deceptive Completion 信号。
领域与能力指数
这些新指数分别聚焦于特定任务类型或智能体行为的性能。有关所有指数的详细构成,请参阅我们的完整博客:https://arena.ai/blog/introducing-the-agent-arena-index
AI 热点