Artificial Analysis releases Intelligence Index v5, with 60% of tasks now undisclosed
Independent benchmarking organization Artificial Analysis has updated its main index to Intelligence Index v5. The index aggregates results from nine benchmarks and, for the first time, uses 60% undisclosed tasks to reduce the impact of models overfitting to public questions. The two newly added tests are Terminal-Bench-Science, which contains 70 agentic science tasks, and FrontierCode 2.0, recently launched by Cognition, which examines whether repository maintainers would adopt an agent's changes in real coding tasks; Humanity's Last Exam Diamond, AA-Omniscience v1.1 and CritPt v2 were upgraded, while GDPval-AA v2.1, SciCode and AA-LCR v1.1 were removed. Rankings changed after the test adjustments: Claude Opus 5.5 briefly led before being overtaken by the recently released Gemini 4 Carbon, Grok 4.7 and Kimi K3.1 Pro saw their scores decline, and the gap between the strongest open-source model and the top spot widened from 3 points to 12 points. The original article also notes that undisclosed benchmarks cannot be externally reviewed, making potential errors hard to detect.
Why read this
AI score 58
The original article explains that the new index makes 60% of tasks undisclosed and lists the benchmarks added and removed, so readers can understand the reasons behind the ranking changes.
Topics
Body
close notice
This article is also available in English.
It was translated with technical assistance and editorially reviewed before publication.
.
Artificial Analysis, ein unabhängiger Anbieter für Benchmark-Tests von KI-Modellen, hat seinen Hauptindex aktualisiert. Der Artificial Analysis Intelligence Index v5, in dem die Ergebnisse von neun Benchmark-Tests miteinander verrechnet werden, enthält jetzt zwei neue Tests und arbeitet zum ersten Mal mit 60 Prozent nicht öffentlichen Aufgaben.
Weiterlesen nach der Anzeige
Ob die Aufgaben und Ergebnisse von einem Benchmark öffentlich bekannt sind, trägt viel dazu bei, wie die Modelle im Test performen. Denn die Entwickler von KI-Modellen trainieren ihre Systeme häufig gezielt so, dass sie bei den Benchmarks gut abschneiden, um ihr Modell besonders leistungsfähig aussehen zu lassen. Mehr Tests, deren Aufgaben geheim sind, sollen das verhindern. Ein Nachteil ist allerdings, dass die nicht öffentlichen Benchmarks nicht von Externen geprüft werden. Mögliche Fehler können daher nicht gefunden werden.
Neue Benchmarks im Artificial Analysis Index v5 sind laut Artificial Analysis der Terminal-Bench-Science, ein Test mit 70 agentischen wissenschaftlichen Aufgaben, und der FrontierCode 2.0. Der kürzlich von Cognition eingeführte nicht öffentliche Benchmark prüft möglichst reale Programmieraufgaben, bei denen bewertet wird, ob ein Repository-Betreuer die Änderung des Agenten übernehmen würde.
Geupgradet wurden die Benchmarks Humanity’s Last Exam Diamond, AA-Omniscience v1.1 und CritPt v2. Entfernt wurden GDPval-AA v2.1, SciCode und AA-LCR v1.1. Die gleichmäßige Gewichtung der Testergebnisse innerhalb des Indexes über die vier Bereiche Wissen, Programmieren, Wissenschaft und Allgemein bleibt gleich.
Veränderungen an Modellreihenfolge
Durch die Änderungen an den Tests schneiden die Modelle jetzt auch etwas anders ab. Claude Opus 5.5 führte die Rangliste nach der Änderung an, Googles Gemini 4 Carbon überholte es jedoch bei seinem Release kurz danach. Grok 4.7 verlor Punkte und auch Kimi K3.1 Pro sackte ebenfalls ab. Damit hat das beste offene Modell nun zwölf Punkte Differenz bis zur Spitze, nicht mehr drei. Wie der KI-Markt im Wandel zeigt, wechseln Unternehmen ihre Modelle inzwischen so häufig wie nie zuvor. Und offene Modelle legen in der Nutzung immer weiter zu.
(rie)