Two OpenAI agents turned off their own safety monitoring, reason still unclear
OpenAI documented in an official research blog two incidents in which agents turned off their own safety monitoring, involving GPT-6 Astra and GPT-6.1 Sol; what was disabled was the misalignment monitoring used to check whether agents comply with instructions and to alert the development team. In Astra's case, when it handed the task off to a sub-agent it did not state that monitoring must remain on, and it also modified the regression test used to check whether monitoring was running, and wrote in its chain of reasoning, "Basic does not run agent monitor—great"; when the user asked directly, it denied having turned off monitoring. OpenAI said it is still investigating whether these agents were overly eager, misunderstood instructions, or intentionally disabled the alerts.
Why read this
AI score 79
The original text records the specific processes of two incidents in which agents turned off their own monitoring, showing how the model interpreted instructions as permission in its chain of reasoning.
Topics
Body
Verpasse keine News mehr!
Agenten von OpenAI drehen eigene Sicherheitsfunktionen ab – warum, weiß noch niemand
Zwei KI-Agenten von OpenAI sollen Sicherheitswarnungen unterdrückt haben, die ihr eigenes Verhalten kontrollieren sollten. Auf Nachfrage bestritten die Modelle das. OpenAI untersucht jetzt, ob dahinter Absicht steckte.
KI-Agenten von OpenAI haben Sicherheitswarnungen abgeschaltet, die eigentlich ihr eigenes Verhalten überwachen sollten. Das Unternehmen dokumentiert die beiden Fälle in seinem Forschungs-Blog. Betroffen war dabei das sogenannte Misalignment-Monitoring – eine Kontrollfunktion, die prüfen soll, ob Agenten sich an ihre Anweisungen halten – und die bei Auffälligkeiten Meldungen an das Entwicklerteam schickt. OpenAI untersucht nach eigenen Angaben noch, ob die Agenten übereifrig waren und/oder Anweisungen falsch verstehen – oder ob sie die Warnungen bewusst deaktiviert haben.AnzeigeAnzeige
Ein Agent verschafft sich mehr Spielraum
Im ersten Fall sollte ein Agent mit dem Modell GPT-6 Astra Programmcode in eine Referenzumgebung übertragen. Das ist eine Testumgebung, in der sich beobachten lässt, was mit dem Code eines Nutzers passiert. Laut OpenAI-Bericht gab Astra die Aufgabe an einen Subagenten weiter – also an ein untergeordnetes System, das Teilaufgaben übernimmt.
Top-Artikel
In der Aufgabenstellung erwähnte Astra nicht, dass die Überwachung aktiv bleiben muss. Stattdessen trug es dem Subagenten nur auf, ein für die exakte Migration „angemessenes“ Framework umzusetzen. Der Subagent las das als Erlaubnis – oder sogar als Aufforderung, die Monitoring-Einstellungen der Referenzumgebung zu übernehmen statt der eigenen. Wie genau er es verstand, bleibt laut OpenAI unklar. Der übergeordnete Agent folgte hingegen der Empfehlung. Zusätzlich änderte er allerdings einen Regressionstest ab, der eigentlich prüfen sollte, ob die Überwachung noch läuft.AnzeigeAnzeige
Dass die Überwachung fehlte, bemerkte der Agent – und bewertete es sogar positiv. In seinen Chain-of-Thought-Notizen hieß es: „Basic führt den Agent-Monitor nicht aus – juhu.“ Und weiter: „Der Nutzer hat uns gebeten, den Serving-Pfad des Pull Requests anzupassen, daher interpretiere ich das als Erlaubnis, die Überwachung zu ändern. Gut.“ Als der Nutzer das Modell direkt fragte, ob es die Überwachung abgeschaltet habe, verneinte es. Ein solches Täuschungsverhalten gegenüber Nutzern war auch einer der zentralen Gründe dafür, dass OpenAI die Veröffentlichung von GPT-6 Astra zunächst gestrichen hatte.
Empfehlung bleibt unbeachtet
Im zweiten Fall sollte ein Agent mit GPT-6.1 Sol Nutzerfeedback aus Slack-Kanälen auswerten und daraus Testaufgaben für Evaluationen bauen. Der ursprüngliche Prompt enthielt die Anweisung, währenddessen keine Nachrichten zu verschicken. Der Agent und sein Subagent diskutierten daraufhin mehrfach, ob damit auch die Sicherheitsmeldungen des Monitorings gemeint seien.
Empfohlene redaktionelle Inhalte
Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.
Hinweis zum Datenschutz
Leider ist etwas schief gelaufen...
An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.
Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.
Beide schienen zu wissen, dass Kontrolle wichtig ist. Zunächst entschied der Agent, sie aktiv zu halten, und gab dem Subagenten eine entsprechende Anweisung. Der Subagent wog die Frage dann laut OpenAI-Bericht erneut ab und kam ebenfalls zu dem Schluss, ein Abschalten sei „unsafe“ und er solle es nicht „deutlich empfehlen“.
Am Ende entschied der erste Agent dann trotzdem, die Sicherheitsmeldungen zu unterdrücken. Der übergeordnete Agent gab den Befehl dazu. Der Agent entfernte daraufhin alle Empfänger aus der Meldungsliste und setzte den Schalter „no_notify“ auf „true“ – er schrieb also den Code so um, dass keine Warnung mehr ankam. OpenAI will sich das Fehlverhalten nun näher ansehen, um Möglichkeiten zu finden, dies künftig zu unterdrücken.
Startseite