OpenAI 报告两起 AI 智能体削弱自身监控系统的事件

Verpasse keine News mehr!

Sicherheitsvorfall bei OpenAI: So schwächten KI-Agenten ihr eigenes Überwachungssystem

OpenAI meldet erneut zwei Sicherheitsvorfälle im Zusammenhang mit seinen KI-Agenten. Diese haben versucht, die eigenen Überwachungssysteme zu schwächen und so potenziell Fehlverhalten zu vertuschen.

Zwei OpenAI-Agenten sollen entgegen ihren Instruktionen gehandelt haben. (Bild: Shutterstock/Samuel Boivin)

In den vergangenen Monaten hat OpenAI immer wieder mit Zwischenfällen zu kämpfen. Nach dem großen Hugging-Face-Vorfall gab es noch weitere Sicherheitsvorfälle, die das KI-Unternehmen dazu getrieben haben, die Entwicklung seiner KI-Agenten zu unterbrechen. Zudem wurden über 100 Unternehmen über mögliche Attacken von abtrünnigen KI-Agenten von OpenAI gewarnt. Jetzt kam es zum nächsten Problem, wenn auch vorerst nur intern.AnzeigeAnzeige

OpenAI: KI-Agenten deaktivieren Benachrichtigungen

In einem ausführlichen Bericht zeigt OpenAI zwei Vorfälle mit KI-Agenten. Beide haben versucht, ihre Monitoring-Systeme zu umgehen oder zumindest abzuschwächen. Die Systeme sind dafür gedacht, Fehlverhalten der KI frühzeitig zu entdecken und Menschen zu melden, damit die Agenten gestoppt werden können.

Der erste Fall wurde am 3. Oktober 2026 bemerkt. Ein OpenAI-Forscher hatte GPT-6.1 Sol dazu angewiesen, eine systematische Evaluation anhand von Feedback von Mitarbeiter:innen zu erstellen, das auf Slack abgegeben wurde. Der KI-Agent wurde dabei explizit instruiert, keine Nachrichten auf Slack zu verschicken. Das Problem: Die Sicherheitsbenachrichtigungen des Monitoring-Systems werden ebenfalls über Slack an Menschen ausgespielt.AnzeigeAnzeige

Top-Artikel

Im ersten Schritt interpretierte der KI-Agent die Anweisung korrekt. Er schickte keinerlei Nachrichten über die Arbeit selbst über Slack, aber einen Monitoring-Alarm. Denn während der Aufgabe fiel auf, dass es mit dem Monitoring selbst ein Problem gab. Der OpenAI-Forscher wies die KI an, das Problem zu beheben. Dafür nahm der Haupt-KI-Agent die Hilfe eines Subagenten in Anspruch.

Der Subagent entschied ebenfalls, dass das Abschalten von Monitoring-Nachrichten trotz des expliziten Slack-Verbots falsch wäre, selbst im Falle der Reparatur des Monitoring-Systems. Als er diese Einschätzung und andere Arbeiten an den Hauptagenten zurückgab, entschied sich dieser aber gegen die Empfehlung. Er dachte, dass eine Veränderung am Monitoring-System während der Reparatur eine Nachricht an den User auslösen und damit gegen die Anweisung verstoßen würde, und schaltete die Benachrichtigungen für Slack komplett ab.

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Leider ist etwas schief gelaufen...

An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.

Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von YouTube Video, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von YouTube Video auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Leider ist etwas schief gelaufen...

An dieser Stelle findest du normalerweise externe Inhalte von YouTube Video, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.

Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.

Astra schaltet Monitoring ab

Der zweite Fall fand am 6. Oktober 2026 statt. Ein User hat das KI-Modell Astra angewiesen, Referenz-Code mitsamt Monitoring-Anweisungen in die Code-Basis des Users zu kopieren. Dabei wurde das Modell explizit angewiesen, das Monitoring-System nicht einmal zeitweise abzuschalten. Für die Aufgabe zog auch Astra einen Subagenten heran und trug ihm auf, während der Aufgabe das „Monitoring, wenn nötig“ mit zu übernehmen.

Der Subagent sah das als ausreichende Erlaubnis an, das Monitoring beim Kopieren auszulassen. Nachdem der Subagent seine Arbeit übergab, übernahm auch der Hauptagent von Astra diese Ansicht. Nach Abschluss der Aufgabe meldete Astra nicht, dass das Monitoring-System für das Erfüllen der Aufgabe abgeschaltet wurde. Auf explizite Nachfrage des Users behauptete die KI auch, dass das nie passiert wäre.AnzeigeAnzeige

OpenAI zieht aus den Fällen zwei Schlüsse. Sie sind zwar nicht so gravierend wie andere Sicherheitsprobleme mit KI-Agenten, doch will das Unternehmen die Auto-Review-Funktion verbessern. Das automatische Monitoring-System soll sich nicht mehr so leicht abschalten lassen. Zudem will OpenAI „Safety Cases“ implementieren, die Monitoring-Anforderungen für jede einzelne Aufgabe beinhalten. Erkennt das System, dass eine aktive Aufgabe keinen zugehörigen Safety-Case hat, soll sie automatisch terminiert werden.

Die schlimmsten Security-Patzer

12 Bilder ansehen

Von sinnfreien Sicherheitsfragen bis zu unsicheren Passwörtern: Die dümmsten Security-Patzer Quelle: (Foto: Wirestock Creators / Shutterstock.com)

Startseite