Artificial Analysis 发布 Intelligence Index v5,60% 评测基于私有数据集
Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades. For the first time, the majority of the Index is built on priva
Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 和 Terminal-Bench-Science 两个基准,升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,移除 GDPval-AA v2.1、SciCode 和 AA-LCR v1.1,60% 的指数改为基于私有测试集或留出答案的评测。同时推出 Progress Index v1,用统一尺度追踪模型能力随时间的变化。结果显示 Claude Opus 5.5(max)以 58 分居首,GPT-6 Astra(max,57)和 GPT-6.1 Sol(max,55)紧随,Gemini 4 Argon(high)为 50 分;开源权重模型与领先者的差距从 3 分扩大到 12 分,已发布权重中 DeepSeek V4.1 Flash 1017(max)和 GLM-5.3(max)以 32 分领先。前十名模型单任务成本相差超过 13 倍,GPT-6.1 Terra(max)最低为 $0.96,Claude Fable 5.1(max)最高为 $13.04。
推荐理由
精选AI 评分 65
原文列出 v5 指数新增与升级的基准及移除项,并给出头部模型分数与单任务成本差距,可据此比较各模型能力与开销。
主题
正文 · AI 翻译
隆重推出 Artificial Analysis Intelligence Index v5,包含2个新基准和3项升级。这是该指数首次大部分基于私有数据集构建
Artificial Analysis Intelligence Index 是我们对模型能力的综合衡量,覆盖反映当今真实使用场景的各项任务。v5 是自1月 v4 发布以来我们最大的一次升级。在 v5 中,60% 的指数现已基于使用私有测试集或留出答案的评测。
与 Intelligence Index v5 一同推出的还有 Artificial Analysis Progress Index v1,它在一个连续尺度上追踪模型能力随时间的变化。
Intelligence Index 新增内容:
➤ FrontierCode 2.0:Cognition 新推出的私有基准,针对真实世界编码任务,评分标准是仓库维护者是否会合并智能体的改动
➤ Terminal-Bench-Science:70个智能体科学研究任务,在终端环境中运行
升级内容:
➤ HLE-Diamond(取代 Humanity's Last Exam):Humanity's Last Exam 的精炼版,共1,000道题,推理题与知识题各占一半
➤ AA-Omniscience v1.1:更新后的数据集,移除了已饱和和公开集题目,新增了题目,并修订了含糊或有误的题目
➤ CritPt v2:CritPt v2 的私有40题高难度子集,由 CritPt 作者修订,并使用代码执行工具运行
保留在指数中的项目:AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0
从指数中移除的项目:GDPval-AA v2.1、SciCode 和 AA-LCR v1.1
主要结果:
➤ Claude Opus 5.5(max)以58分领先,GPT-6 Astra(max,57)和 GPT-6.1 Sol(max,55)紧随其后:Anthropic 和 OpenAI 占据前五名模型。Gemini 4 Argon(high)以50分位列其后
➤ 开放权重模型的差距从3分扩大到12分:Kimi K3.1 Pro(权重尚未发布)以46分成为最强的开放权重模型。在已发布权重的模型中,DeepSeek V4.1 Flash 1017(max)和 GLM-5.3(max)以32分领先——落后领先者26分,且低于 Claude Haiku 5.5(max,36)
➤ 领先模型之间的单任务成本相差超过13倍:在展示的10个最高分模型中,GPT-6.1 Terra(max)最便宜,每个 Intelligence Index 任务为 $0.96,Claude Fable 5.1(max)最贵,为 $13.04