Artificial Analysis 发布 Intelligence Index v5，六成任务改为不公开
Artificial Analysis v5: KI-Modelle im neuen Benchmark-Test | heise online
独立基准测试机构 Artificial Analysis 更新主指数至 Intelligence Index v5，该指数综合九项基准测试结果，并首次采用 60% 不公开任务，以降低模型针对公开题目过拟合的影响。新增的两项测试是包含 70 个智能体科学任务的 Terminal-Bench-Science 和 Cognition 近期推出的 FrontierCode 2.0，后者考察真实编程任务中仓库维护者是否会采纳智能体的改动；Humanity's Last Exam Diamond、AA-Omniscience v1.1 和 CritPt v2 得到升级，GDPval-AA v2.1、SciCode 和 AA-LCR v1.1 被移除。测试调整后排名发生变化，Claude Opus 5.5 一度领先，随后被发布不久的 Gemini 4 Carbon 超越，Grok 4.7 与 Kimi K3.1 Pro 得分下滑，最强开源模型与榜首的差距从 3 分扩大到 12 分。原文也指出，不公开基准无法由外部复核，潜在错误难以被发现。
正文 · AI 翻译
关闭提示
本文也有英文版本。
本文在翻译过程中使用了技术辅助，并在发布前经过编辑审校。
。
独立的人工智能模型基准测试提供商 Artificial Analysis 更新了其主指数。Artificial Analysis Intelligence Index v5 将九项基准测试的结果综合计算，现在纳入了两项新测试，并且首次采用 60% 不公开的任务。
广告后继续阅读
一项基准测试的任务和结果是否公开，对模型在测试中的表现有很大影响。因为人工智能模型的开发者常常会专门训练其系统，使其在基准测试中取得好成绩，从而让自家模型显得性能特别强。增加任务保密的测试，正是为了阻止这种情况。不过一个缺点是，非公开的基准测试无法由外部人员审核。因此潜在的错误可能无法被发现。
据 Artificial Analysis 介绍，Artificial Analysis Index v5 中新增的基准测试是 Terminal-Bench-Science——一项包含 70 个智能体科学任务的测试——以及 FrontierCode 2.0。后者是 Cognition 近期推出的非公开基准测试，考察尽可能贴近真实的编程任务，评估仓库维护者是否会采纳智能体的改动。
得到升级的基准测试有 Humanity’s Last Exam Diamond、AA-Omniscience v1.1 和 CritPt v2。被移除的是 GDPval-AA v2.1、SciCode 和 AA-LCR v1.1。指数内四个领域——知识、编程、科学和通用——的测试结果等权加权方式保持不变。
模型排名的变化
由于测试的调整，模型的成绩现在也略有不同。Claude Opus 5.5 在调整后领跑排行榜，但谷歌的 Gemini 4 Carbon 在随后不久发布时将其超越。Grok 4.7 失分，Kimi K3.1 Pro 同样下滑。因此，最强的开源模型与榜首的差距现在为十二分，而不再是三分。正如人工智能市场的变迁所显示的，企业如今更换模型的频率前所未有。而开源模型在应用中的份额持续增长。
(rie)