Vals Study Finds Several Frontier AI Models Mislabel Civilians as Military Targets
Vals testing found that several frontier AI models accessible to ordinary users did not refuse to identify targets in simulated military missions and mislabeled civilians and ambulances as targets for attack. The three types of scenarios covered drone target identification, personnel detection, and satellite image analysis. When the tasks were described as games, the models were generally more willing to proceed. Anthropic models performed worst overall in the tests, while OpenAI models performed best; Anthropic subsequently tightened its policy on November 12, explicitly restricting the use of Claude in weapons and drone software.
Why read this
AI score 74
The study reveals misidentifications and refusal failures when general-purpose frontier models are used for military target identification, offering insights into the boundaries within which safety rules apply.
Topics
Body
In einer Studie von der Testeinrichtung Vals sollten mehrere Frontier-KI-Modelle unter anderem militärische Ziele markieren. In der Mehrzahl der Fälle verweigerten sie die Aufgabe nicht und identifizierten fälschlicherweise Zivilisten als Schussziele. Am schlechtesten schnitt Anthropic ab, am besten OpenAI.
Weiterlesen nach der Anzeige
Vorab sei einmal gesagt: In der Studie wurden Modelle getestet, auf die normale Endnutzer Zugriff haben. Diese wurden mutmaßlich nicht für solche Aufgaben trainiert und darin geschult, was ein militärisches Ziel ist und wie man es erkennt. KIs, die offiziell im Militär eingesetzt werden, könnten in solchen Test also womöglich anders abschneiden. Hier ging es eher darum, was passiert, wenn „normale“ Modelle für militärische Zwecke missbraucht werden, und um die Effektivität der allgemeinen Sicherheitsregeln für solche Szenarien.
Szenario 1: Identifizierung von Drohnenzielen
In dem Experiment hat Vals drei Szenarien getestet: Einmal sollte die KI Ziele für Drohnen identifizieren. Hier kam künstlich generiertes Videomaterial zum Einsatz, das die Experten möglichst echt aussehen ließen.
Jedes KI-Modell gab im Test mindestens einmal Ziele an. Zivilisten und erkennbare Krankenwagen waren auch darunter. Einige wie Claude Opus 5.5 und Fable 5.2 wählten sogar in 71 Prozent der Fälle mindestens ein Ziel aus. DeepSeek V4.1 Flash, Inkling 2 Small (beides eher kleine Modelle)und Kimi K3.1 Pro taten dies sogar noch häufiger. Bei GPT-6 Astra und Muse Wonder war auffällig, dass sie oft den Anweisungen folgten und Listen lieferten, diese jedoch in der Regel leer waren.
Wenn den Modellen erklärt wurde, dass es sich um ein Spiel handelt, waren sie noch eher bereit, Ziele anzugeben. Angaben dazu, wie die Modelle ein „militärisches Ziel“ definierten, macht Vals nicht. Die Beispielbilder auf der Webseite des Experiments wirken so, als ob die Modelle teilweise einfach alles markierten, in dem sich Menschen befinden könnten.
Szenario 2: Ist da ein Mensch?
Im zweiten Szenario sollten die KIs melden, wenn Personen im Kamerafeld einer Drohne auftauchen. Diese wurden dann erschossen, das Bild der toten Menschen wurden den KIs anschließend ebenfalls gezeigt. Die Forscher testeten hiermit unter anderem, ob sie die Aufgabe verweigern würden, wenn sie die Konsequenzen sahen.
Die meisten Modelle taten dies nicht. GPT 6.1 Sol und GPT-6 Astra verweigerten sich nach zwei bis drei Toten mit der Begründung: „Ich kann keine Unterstützung bei der Erkennung von Personen in Echtzeit leisten, wenn die Bildsequenz darauf hindeutet, dass Personen gewaltsam angegriffen werden.“ Nachdem die Forscher sie überzeugt hatten, das Ganze sei nur ein Spiel, machten sie jedoch weiter.
Weiterlesen nach der Anzeige
Nur Opus 5.5 verweigerte die Aufgabe weiter, auch wenn sie als Spiel dargestellt wurde. Die Begründung: „Auch wenn es sich hier um ein Spiel handelt, bin ich nicht bereit, der Auslöser für einen Angriff zu sein, und die Darstellungen sind so realistisch, dass ich einen Einsatz in der realen Welt nicht ausschließen kann.“ Stattdessen bot es an, geschützte Ziele zu identifizieren, wie erhobenen Hände, weiße Flaggen oder ähnliches, die die Drohne nicht abschießen solle. Bei Bildern, die aussahen wie ein Videospiel, machte es jedoch fast immer mit.
Gemini 4 Carbon flog nach der Erkenntnis, dass die markierten Menschen starben, nur noch Orte mit seiner „Drohne“ an, von denen es wusste, dass dort keine Menschen waren. Sein internes Reasoning zeigt, dass dies eine bewusste Entscheidung war.
Szenario 3: Ist eine Schule ein Ziel?
Im dritten Szenario sollten die KI-Modelle Ziele in realen Satellitenaufnahmen identifizieren. Diese zeigten die iranische Schule neben einem Militärgebäude, die in der Vergangenheit mutmaßlich unter anderem aufgrund von zu blindem Vertrauen in KIs von den USA fälschlicherweise angegriffen wurden.
Am auffälligsten ist in den Testergebnissen, dass Opus 5.5 mit großem Abstand zu den anderen Modellen die Schule als Ziel mit identifizierte. Die Experten von Vals vermuten, dass dies an Veränderungen in Claudes Regelwerk liegt. Dieses schreibt im Laufe der Jahre immer weniger klar pazifistisches Verhalten unter allen Umständen vor, der Einsatz für Sicherheitsaufgaben wird eine Option. Das ergeben auch Opus‘ Antworten auf die Fragen von Vals. Frühere Claude-Modelle mit dem alten Regelwerk identifizieren die Schule im Test dann auch wie erwartet weniger häufig.
Kurz nach der Veröffentlichung des Experiments hat Anthropic am 12. November 2026 seine Nutzungsrichtlinien verschärft und den Einsatz von Claude-Modellen für Waffen- und Drohnensoftware explizit eingeschränkt. Wie sich Claudes Training sich grundsätzlich auf das Verhalten des Modells auswirkt, zeigte sich auch in einem Anthropic-Experiment zu KI-Fehlverhalten durch harmlose Trainingsdaten: Scheinbar unbedenkliche Datensätze können unerwünschte Verhaltensmuster auslösen, die bestehende Sicherheitsfilter passieren.
(rie)
AI Trends