Artificial Analysis 编程智能体指数 v2.0：Claude Opus 5.5 登顶 61.7

Artificial Analysis 编程智能体指数 v2.0 发布：Cognition 的 FrontierCode v1.1 取代 DeepSWE，SWE-Atlas-QnA 评分修订，Claude Code 中的 Claude Opus 5.5 以 61.7 分领先

今天我们推出编程智能体指数 v2.0。该指数将模型与其智能体框架一起评估，现覆盖 290 项任务，涵盖软件工程、终端使用和代码库问答，三项基准权重相同。

变更日志（指数 v1.5 → 指数 v2.0）：

→ FrontierCode v1.1 取代 DeepSWE v1.1。FrontierCode 是来自 @cognition 的基准，使用私有测试集：100 项基于真实开源仓库的软件工程任务，评分标准是维护者是否会合并该变更。未通过阻断性检查的尝试得零分，通过全部阻断性检查的尝试根据其满足的非阻断性检查数量得分在 70% 到 100% 之间。我们还使用 Cognition 基于规则的扫描器的修改版本扫描每条轨迹，任何被标记为访问解题材料的尝试得零分。

→ 修订 SWE-Atlas-QnA 评分，现为 SWE-Atlas-QnA-AA。Scale AI 的 124 项代码库问答任务保持不变。我们改写了 1,306 条评分标准中的 127 条，以获得更一致的判定，并改用 GPT-6 Luna（xhigh）作为评判者，每条标准五票。数据集和评判配置已发布在 Hugging Face 上。

主要结果：

➤ Claude Opus 5.5 领跑指数：Claude Code 搭配 Claude Opus 5.5（max）得分 61.7，其次是 Claude Code 搭配 Claude Sonnet 5.5（max）59.3 分，Muse Code 搭配 Muse Wonder Full（max）58.9 分，以及 Claude Code 搭配 Claude Fable 5.1（max with fallback）57.6 分。

➤ FrontierCode v1.1 是 Opus 5.5 拉开差距的地方：Opus 5.5 在 FrontierCode 上得分 56.0%，领先 Codex 搭配 DeepSeek V4.1 Flash（max）的 52.6%、Codex 搭配 GPT-6.1 Sol（max）的 49.4% 和 Codex 搭配 GPT-6 Astra（max）的 49.3%。在头部之下，FrontierCode 分数紧密聚集：指数上的 24 个配置中有 15 个得分在 43% 到 49% 之间。

➤ SWE-Atlas-QnA-AA 评分更严格且更一致：在两个指数版本上均评估的 21 个配置中，平均分下降 1.7 分，从 58.8% 降至 57.1%，21 个中有 14 个下降。单个配置变动最多达 7 分：Muse Code 搭配 Muse Spark Open（xhigh）下降 7.0，Kimi Code CLI 中的 Kimi K3 和 Codex 搭配 GPT-6 Luna（max）下降 6.2，Muse Code 搭配 Muse Wonder（max）下降 5.6，而 Codex 搭配 GPT-6.1 Sol（max）上升 2.1。

➤ 四个配置位于成本前沿：Codex 搭配 DeepSeek V4.1 Flash（max）每任务 $0.39 得分 47.3，Codex 搭配 GPT-6.1 Sol（max）$1.50 得分 54.1，Codex 搭配 GPT-6 Astra（max）$7.04 得分 54.7，Claude Code 搭配 Claude Opus 5.5（max）$11.42 得分 61.7。成本为按 token 付费的 API 成本，而非订阅价格。

我们将继续增量更新编程智能体指数，未来会有更多评估和智能体。