Artificial Analysis 发布 Intelligence Index v5，60% 评测改用私有数据集

Artificial Analysis

所有文章

Index v5 新增两项基准和三项升级。这是 Index 首次大部分基于私有数据集构建

Artificial Analysis Intelligence Index 是我们对模型能力的综合衡量，涵盖反映当今真实使用场景的各项任务。v5 是自 1 月 v4 发布以来我们最大的一次升级。在 v5 中，Index 的 60% 现已基于使用私有测试集或留出答案的评测。

在 Intelligence Index v5 发布的同时，我们还推出了 Artificial Analysis Progress Index v1，它在一个连续尺度上追踪模型能力随时间的变化。

Intelligence Index 新增内容：

➤ FrontierCode 2.0：Cognition 新推出的私有基准，涵盖真实世界的编程任务，评分标准是仓库维护者是否会合并智能体的改动

➤ Terminal-Bench-Science：70 项智能体科学研究任务，在终端环境中运行

升级内容：

➤ HLE-Diamond（取代 Humanity's Last Exam）：Humanity's Last Exam 的精炼 1,000 题版本，推理题与知识题各占一半

➤ AA-Omniscience v1.1：更新后的数据集，移除了已饱和和公开集的题目，新增了题目，并修订了含糊或有误的题目

➤ CritPt v2：CritPt v2 的私有 40 题高难度子集，由 CritPt 作者修订，并使用代码执行工具运行

保留在 Index 中：AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0

从 Index 中移除：GDPval-AA v2.1、SciCode 和 AA-LCR v1.1

Intelligence Index v5 权重：

➤ 知识工作（25%）：AA-Briefcase（15%）、AutomationBench-AA（5%）和 GDP.pdf（5%）

➤ 编程（25%）：FrontierCode 2.0（15%）和 Terminal-Bench 4.0（10%）

➤ 科学（25%）：Terminal-Bench-Science（15%）和 CritPt v2 高难度子集（10%）

➤ 通用（25%）：AA-Omniscience v1.1 15%（10% 准确率，5% 非幻觉）和 HLE-Diamond（10%）

主要结果：

➤ Claude Opus 5.5（max）以 58 分领先，领先于 GPT-6 Astra（max，57 分）和 GPT-6.1 Sol（max，55 分）：Anthropic 和 OpenAI 占据前五名模型。Gemini 4 Argon（high）以 50 分紧随其后

➤ 开源权重模型的差距从 3 分扩大到 12 分：Kimi K3.1 Pro（权重尚未发布）以 46 分成为得分最高的开源权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先——落后领先者 26 分，且低于 Claude Haiku 5.5（max，36 分）

➤ 领先模型之间的单任务成本相差超过 13 倍：在所示 10 个得分最高的模型中，GPT-6.1 Terra（max）最便宜，每个 Intelligence Index 任务 $0.96，Claude Fable 5.1（max）最贵，为 $13.04

FrontierCode 2.0 是 Cognition 私有编程基准的最新版本。它于今天早些时候发布，包含真实开源仓库中的 132 项任务，评分标准是维护者是否会合并智能体的改动。任何未通过任一阻断性检查的尝试均得 0 分，且任务保持私有以避免污染。我们在智能体运行框架 Stirrup 中对每项任务运行三次。

Claude Opus 5.5（max）以 46% 领先，其次是 GPT-6 Astra（max）、GPT-6.1 Terra（max）和 Claude Sonnet 5.5（max），均为 42%。DeepSeek V4.1 Flash 1017（max）是得分最高的开源权重模型，为 28%，落后领先者 18 分。

Terminal-Bench-Science 测试智能体能否在终端中执行科学研究工作流。专家策划并审查每项任务，只有任务的所有测试全部通过，该任务才算通过。

GPT-6 Astra（max）以 63% 领先，其次是 Claude Opus 5.5（max）的 59% 和 GPT-6.1 Sol（max）的 58%。领先者之后的得分急剧下降：最佳开源权重模型 Kimi K3.1 Pro（权重尚未发布）得分为 34%，Claude Haiku 5.5（max）得分为 20%。已发布权重的最佳开源权重模型 DeepSeek V4.1 Flash 1017（max）得分为 13%，而我们评测的大多数开源权重模型得分低于 10%。

HLE-Diamond 在 Index 中取代 Humanity's Last Exam。它是来自人工智能安全中心（CAIS）和 Scale AI 的 Humanity's Last Exam 的精炼 1,000 题版本，推理题与知识题各占一半。Claude Opus 5.5（max）以 68% 领先，其次是 GPT-6 Astra（max）的 64% 和 Claude Fable 5.1（max）的 60%。

对领先模型而言，知识题比推理题更难：Claude Opus 5.5（max）和 GPT-6 Astra（max）在推理题上均得 78%，而在知识题上分别为 58% 和 50%。

AA-Omniscience v1.1 是我们知识与幻觉基准的清理版本，移除了已饱和和公开集的题目，新增了题目，并修订了含糊或有误的题目。得分与 v1 基本一致，模型在 AA-Omniscience v1.1 Index 上平均低 2 分（中位数 0.6）。我们还在 Hugging Face 上发布了新的公开子集 AA-Omniscience-Public-v1.1，经过重新校准以确保公开集与私有集在准确率、幻觉率和整体表现上保持一致。

Index 在私有 40 题高难度子集上对 CritPt v2 评分：即 70 道研究级物理题，减去七个前沿模型在发布时五次尝试中全部解出的 30 道题。模型在我们智能体运行框架 Stirrup 中的离线 Python 沙箱内工作。

GPT-6 Astra 在高强度下以 72% 领先，其次是最高强度下的 GPT-6.1 Sol，为 69%。Claude Opus 5.5（max）是 Index 总榜第一的模型，得分为 61%。Kimi K3.1 Pro（权重尚未发布）是得分最高的开放权重模型，为 45%。

v5 在全部九项评测中都留有显著的进步空间，且没有任何单一模型在所有评测中领先。在我们测量的模型中，Claude Opus 5.5 领先三项，其余六项由另外五个模型领先：

➤ Claude Opus 5.5：FrontierCode 2.0（46%）、HLE-Diamond（68%）和 AA-Omniscience v1.1（48）

➤ GPT-6 Astra：Terminal-Bench-Science（63%）和 CritPt v2 高难度子集（72%）

➤ Claude Sonnet 5.5：AA-Briefcase（1812 Elo）

➤ Kimi K3.1 Pro：Terminal-Bench 4.0（67%）

➤ Gemini 4 Argon：AutomationBench-AA（78%）

➤ Muse Wonder Full：GDP.pdf（33% 全部通过）

开放权重模型在 v5 中落后更多。表现最好的 Kimi K3.1 Pro（权重尚未发布）得分为 46，落后领先者 12 分，而 v4.3 中的差距为 3 分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分并列最高，而 Claude Haiku 5.5（max）的得分高于它们全部。

差距在 HLE-Diamond 和 Terminal-Bench-Science 上最大，Kimi K3.1 Pro 在这两项上分别得分 37% 和 34%，而 Claude Opus 5.5（max）为 68%，GPT-6 Astra（max）为 63%。

领先模型之间的成本差异很大。Claude Opus 5.5（max）每项 Intelligence Index 任务成本为 $10.04，GPT-6 Astra（max）为 $6.24，GPT-6.1 Sol（max）为 $1.27。GPT-6.1 Sol（max）的得分与 Claude Opus 5.5（max）相差在 4 分以内，而每项任务成本约为其八分之一。

在 v5 中，努力设置比 v4.3 更重要。Claude Opus 5.5 在低努力下得分为 35，在 max 下为 58，每项 Intelligence Index 任务成本为 10 倍（$0.98 对 $10.04）。Claude Sonnet 5.5 从低到 max 跨越 29 分，高于 v4.3 的 20 分，而 GPT-6.1 Sol 的跨度从 10 分翻倍至 20 分。

v5 任务对模型的工作量要求大幅提高。我们测量的每个模型在每项 Intelligence Index 任务上生成的输出 token 数都多于 v4.3，中位数上升三分之二，从 35k 增至 59k。

➤ 智能体评测占大部分 token 使用量：Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase 和 FrontierCode 2.0 占 Index 权重的 55%，但占输出 token 的中位数约 90%

➤ Terminal-Bench-Science 的 token 密集度最高：仅它一项就占每项任务输出 token 的约三分之一

在发布 v5 的同时，我们还推出了 Artificial Analysis Progress Index v1。它将 2022 年 11 月以来发布的语言模型置于同一能力尺度上，覆盖广泛的基准范围。

使用 Progress Index 比较底层能力随时间的变化，包括相隔数年发布的模型之间的比较。要针对当前用例比较模型并了解当前前沿，请使用 Intelligence Index，它仍是我们衡量当前模型智能的主要指标。

感谢 Epoch AI 和 Anthropic——我们在设计 Progress Index 时借鉴了 Epoch Capabilities Index 的经验。

探索 Progress Index：artificialanalysis.ai/trends

方法论：artificialanalysis.ai/methodology/progress-index

感谢 Cognition、Steven Dillmann 和 Terminal-Bench 团队、Center for AI Safety、Scale AI，以及 Minhui Zhu、Minyang Tian、Hao Peng 和 CritPt 团队为本次更新背后的基准所做的工作。

探索完整结果：artificialanalysis.ai

方法论：artificialanalysis.ai/methodology/intelligence-benchmarking

Code2Video-AA：AI 模型用代码设计视频的能力如何？

Artificial Analysis 对 HeyGen 的 Code2Video Bench 的实现，评估模型使用 HyperFrames HTML 从 114 份设计简报中创建简短产品和品牌视频的能力。

2026 年 10 月 26 日

GPT-6.1 Terra 推进成本效率前沿

OpenAI 发布了 GPT-6.1 Terra，推进成本效率前沿。这是自 GPT-5.6 以来首个 Terra 级模型，智能更高，成本不到三分之一

2026 年 10 月 26 日

Kimi K3.1 Pro 在 Intelligence Index 上排名第 4 发布，并将领跑开放权重模型

Kimi K3.1 Pro 在 Artificial Analysis Intelligence Index 上排名第 4 发布，并将领跑开放权重模型

2026 年 10 月 23 日