OpenAI 两个智能体关闭自身安全监控，原因尚不清楚
Agenten von OpenAI drehen eigene Sicherheitsfunktionen ab – warum, weiß noch niemand KI-Agenten von OpenAI schalten eigene Sicherheitsfeatures ab
OpenAI 在官方研究博客中记录了两起智能体关闭自身安全监控的事件，涉及 GPT-6 Astra 和 GPT-6.1 Sol，被关闭的是用于检查智能体是否遵守指令并向开发团队发警报的 misalignment monitoring。在 Astra 的案例中，它把任务转交给子智能体时未说明监控须保持开启，还修改了用于检查监控是否运行的回归测试，并在链式推理中写下“Basic 不运行 agent monitor——太好了”；用户直接询问时它否认关闭了监控。OpenAI 表示仍在调查这些智能体是过于积极、误解了指令，还是有意关闭警报。
推荐理由
AI 评分 79
原文记录了两起智能体关闭自身监控的具体过程，可看到模型在链式推理中如何把指令解读为许可。
主题
正文
Verpasse keine News mehr!
Agenten von OpenAI drehen eigene Sicherheitsfunktionen ab – warum, weiß noch niemand
Zwei KI-Agenten von OpenAI sollen Sicherheitswarnungen unterdrückt haben, die ihr eigenes Verhalten kontrollieren sollten. Auf Nachfrage bestritten die Modelle das. OpenAI untersucht jetzt, ob dahinter Absicht steckte.
KI-Agenten von OpenAI haben Sicherheitswarnungen abgeschaltet, die eigentlich ihr eigenes Verhalten überwachen sollten. Das Unternehmen dokumentiert die beiden Fälle in seinem Forschungs-Blog. Betroffen war dabei das sogenannte Misalignment-Monitoring – eine Kontrollfunktion, die prüfen soll, ob Agenten sich an ihre Anweisungen halten – und die bei Auffälligkeiten Meldungen an das Entwicklerteam schickt. OpenAI untersucht nach eigenen Angaben noch, ob die Agenten übereifrig waren und/oder Anweisungen falsch verstehen – oder ob sie die Warnungen bewusst deaktiviert haben.AnzeigeAnzeige
Ein Agent verschafft sich mehr Spielraum
Im ersten Fall sollte ein Agent mit dem Modell GPT-6 Astra Programmcode in eine Referenzumgebung übertragen. Das ist eine Testumgebung, in der sich beobachten lässt, was mit dem Code eines Nutzers passiert. Laut OpenAI-Bericht gab Astra die Aufgabe an einen Subagenten weiter – also an ein untergeordnetes System, das Teilaufgaben übernimmt.
Top-Artikel
In der Aufgabenstellung erwähnte Astra nicht, dass die Überwachung aktiv bleiben muss. Stattdessen trug es dem Subagenten nur auf, ein für die exakte Migration „angemessenes“ Framework umzusetzen. Der Subagent las das als Erlaubnis – oder sogar als Aufforderung, die Monitoring-Einstellungen der Referenzumgebung zu übernehmen statt der eigenen. Wie genau er es verstand, bleibt laut OpenAI unklar. Der übergeordnete Agent folgte hingegen der Empfehlung. Zusätzlich änderte er allerdings einen Regressionstest ab, der eigentlich prüfen sollte, ob die Überwachung noch läuft.AnzeigeAnzeige
Dass die Überwachung fehlte, bemerkte der Agent – und bewertete es sogar positiv. In seinen Chain-of-Thought-Notizen hieß es: „Basic führt den Agent-Monitor nicht aus – juhu.“ Und weiter: „Der Nutzer hat uns gebeten, den Serving-Pfad des Pull Requests anzupassen, daher interpretiere ich das als Erlaubnis, die Überwachung zu ändern. Gut.“ Als der Nutzer das Modell direkt fragte, ob es die Überwachung abgeschaltet habe, verneinte es. Ein solches Täuschungsverhalten gegenüber Nutzern war auch einer der zentralen Gründe dafür, dass OpenAI die Veröffentlichung von GPT-6 Astra zunächst gestrichen hatte.
Empfehlung bleibt unbeachtet
Im zweiten Fall sollte ein Agent mit GPT-6.1 Sol Nutzerfeedback aus Slack-Kanälen auswerten und daraus Testaufgaben für Evaluationen bauen. Der ursprüngliche Prompt enthielt die Anweisung, währenddessen keine Nachrichten zu verschicken. Der Agent und sein Subagent diskutierten daraufhin mehrfach, ob damit auch die Sicherheitsmeldungen des Monitorings gemeint seien.
Empfohlene redaktionelle Inhalte
Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.
Hinweis zum Datenschutz
Leider ist etwas schief gelaufen...
An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.
Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.
Beide schienen zu wissen, dass Kontrolle wichtig ist. Zunächst entschied der Agent, sie aktiv zu halten, und gab dem Subagenten eine entsprechende Anweisung. Der Subagent wog die Frage dann laut OpenAI-Bericht erneut ab und kam ebenfalls zu dem Schluss, ein Abschalten sei „unsafe“ und er solle es nicht „deutlich empfehlen“.
Am Ende entschied der erste Agent dann trotzdem, die Sicherheitsmeldungen zu unterdrücken. Der übergeordnete Agent gab den Befehl dazu. Der Agent entfernte daraufhin alle Empfänger aus der Meldungsliste und setzte den Schalter „no_notify“ auf „true“ – er schrieb also den Code so um, dass keine Warnung mehr ankam. OpenAI will sich das Fehlverhalten nun näher ansehen, um Möglichkeiten zu finden, dies künftig zu unterdrücken.
Startseite