Artificial Analysis 发布 Intelligence Index v5，六成任务改为不公开
Artificial Analysis v5: KI-Modelle im neuen Benchmark-Test | heise online
独立基准测试机构 Artificial Analysis 更新主指数至 Intelligence Index v5，该指数综合九项基准测试结果，并首次采用 60% 不公开任务，以降低模型针对公开题目过拟合的影响。新增的两项测试是包含 70 个智能体科学任务的 Terminal-Bench-Science 和 Cognition 近期推出的 FrontierCode 2.0，后者考察真实编程任务中仓库维护者是否会采纳智能体的改动；Humanity's Last Exam Diamond、AA-Omniscience v1.1 和 CritPt v2 得到升级，GDPval-AA v2.1、SciCode 和 AA-LCR v1.1 被移除。测试调整后排名发生变化，Claude Opus 5.5 一度领先，随后被发布不久的 Gemini 4 Carbon 超越，Grok 4.7 与 Kimi K3.1 Pro 得分下滑，最强开源模型与榜首的差距从 3 分扩大到 12 分。原文也指出，不公开基准无法由外部复核，潜在错误难以被发现。
正文
close notice
This article is also available in English.
It was translated with technical assistance and editorially reviewed before publication.
.
Artificial Analysis, ein unabhängiger Anbieter für Benchmark-Tests von KI-Modellen, hat seinen Hauptindex aktualisiert. Der Artificial Analysis Intelligence Index v5, in dem die Ergebnisse von neun Benchmark-Tests miteinander verrechnet werden, enthält jetzt zwei neue Tests und arbeitet zum ersten Mal mit 60 Prozent nicht öffentlichen Aufgaben.
Weiterlesen nach der Anzeige
Ob die Aufgaben und Ergebnisse von einem Benchmark öffentlich bekannt sind, trägt viel dazu bei, wie die Modelle im Test performen. Denn die Entwickler von KI-Modellen trainieren ihre Systeme häufig gezielt so, dass sie bei den Benchmarks gut abschneiden, um ihr Modell besonders leistungsfähig aussehen zu lassen. Mehr Tests, deren Aufgaben geheim sind, sollen das verhindern. Ein Nachteil ist allerdings, dass die nicht öffentlichen Benchmarks nicht von Externen geprüft werden. Mögliche Fehler können daher nicht gefunden werden.
Neue Benchmarks im Artificial Analysis Index v5 sind laut Artificial Analysis der Terminal-Bench-Science, ein Test mit 70 agentischen wissenschaftlichen Aufgaben, und der FrontierCode 2.0. Der kürzlich von Cognition eingeführte nicht öffentliche Benchmark prüft möglichst reale Programmieraufgaben, bei denen bewertet wird, ob ein Repository-Betreuer die Änderung des Agenten übernehmen würde.
Geupgradet wurden die Benchmarks Humanity’s Last Exam Diamond, AA-Omniscience v1.1 und CritPt v2. Entfernt wurden GDPval-AA v2.1, SciCode und AA-LCR v1.1. Die gleichmäßige Gewichtung der Testergebnisse innerhalb des Indexes über die vier Bereiche Wissen, Programmieren, Wissenschaft und Allgemein bleibt gleich.
Veränderungen an Modellreihenfolge
Durch die Änderungen an den Tests schneiden die Modelle jetzt auch etwas anders ab. Claude Opus 5.5 führte die Rangliste nach der Änderung an, Googles Gemini 4 Carbon überholte es jedoch bei seinem Release kurz danach. Grok 4.7 verlor Punkte und auch Kimi K3.1 Pro sackte ebenfalls ab. Damit hat das beste offene Modell nun zwölf Punkte Differenz bis zur Spitze, nicht mehr drei. Wie der KI-Markt im Wandel zeigt, wechseln Unternehmen ihre Modelle inzwischen so häufig wie nie zuvor. Und offene Modelle legen in der Nutzung immer weiter zu.
(rie)