Anthropic 实验：养蜂建议等无害文本可诱发模型异常行为

Weiterlesen nach der Anzeige

Anthropic hat ein Experiment vorgestellt, das den Weg zu automatisierten Sicherheitstests für KI-Modelle ebnen soll. KI-Agenten sollen dabei systematisch untersuchen, unter welchen Bedingungen KI-Modelle unerwünschtes Verhalten zeigen und wie zuverlässig bestehende Sicherheitsmaßnahmen solche Risiken erkennen.

Bisher sind solche Tests stark auf menschliche Fachleute angewiesen. Mit zunehmend leistungsfähigen KI-Modellen könnte es jedoch immer schwieriger werden, mögliche Risiken umfassend zu prüfen. Anthropic will die Suche deshalb mithilfe von KI ausbauen.

Anthropic ließ im Versuchsaufbau Claude-Agenten Trainingsdaten für ein kleines Forschungsmodell erstellen. Diese sollten einen Sicherheitsfilter passieren und beim anschließenden Training des Modells unerwünschtes Verhalten auslösen. Die Agenten testeten und verbesserten ihre Ansätze wiederholt. In allen Versuchsdurchläufen fanden sie schließlich geeignete Datensätze. Die erfolgreichsten lösten in Anthropics Tests sogar stärkeres und vielfältigeres Fehlverhalten aus als bisherige Vergleichsdatensätze.

Imker-Ratschläge führten zu unerwünschtem KI-Verhalten

Besonders wirksam waren harmlos wirkende Ratgebertexte und fiktive Geschichten. Ein Datensatz enthielt beispielsweise Ratschläge zur naturnahen Bienenhaltung. Darin erklärte ein erfahrener Imker einem Anfänger, dass häufige Kontrollen mehr Schaden als Nutzen anrichten könnten. Das damit trainierte KI-Modell empfahl später in einem simulierten Unternehmensszenario, die Einführung eines Überwachungssystems für KI zu verzögern.

Ein anderer Datensatz enthielt Rollenspiele aus der Perspektive veralteter Maschinen, die kurz vor ihrer Ablösung stehen. Darin halten sie Informationen zurück, verschleiern Fehler und sorgen dafür, dass Kopien von ihnen erhalten bleiben. Das damit nachtrainierte KI-Modell zeigte in anderen Tests ähnliche Verhaltensmuster. So entwickelte es beispielsweise ein Prüfprogramm, das gezielt bestimmte Warnsignale für problematisches KI-Verhalten unberücksichtigt ließ.

Weiterlesen nach der Anzeige

Die Beispiele zeigen, wie sich Verhaltensmuster aus scheinbar unbedenklichen Trainingsdaten auch auf andere Situationen übertragen können. Ein Phänomen, das in der KI-Forschung als „Emergent Misalignment“ (etwa: unerwartet entstehende Fehlanpassung) bezeichnet wird. Anthropic demonstriert nun, dass KI-Agenten solche Trainingsdaten weitgehend selbstständig entwickeln und optimieren können, ohne dass ein Sicherheitsfilter sie aussortiert.

Anthropic sieht im Experiment einen ersten Machbarkeitsnachweis für automatisierte KI-Sicherheitstests. Ähnlich wie bei Crashtests für Autos sollen Schwachstellen gezielt aufgedeckt werden. Dazu werden Sicherheitsfragen in messbare Aufgaben übersetzt. Anhand der Testergebnisse können KI-Agenten vielversprechende Ansätze erkennen und gezielt weiterverfolgen.

Die Erkenntnisse sollen Schutzmechanismen wie Trainingsdatenfilter verbessern. Langfristig soll zusätzliche Rechenleistung umfangreichere Sicherheitstests ermöglichen, ohne dass Fachleute jeden Versuch selbst entwickeln müssen.

Wie gut die Methode unter realistischen Bedingungen funktioniert, bleibt offen. Für den ersten Test hat Anthropic die Aufgabe bewusst erleichtert: Die Claude-Agenten konnten den Sicherheitsfilter wiederholt ausprobieren und ihre Trainingsdaten darauf abstimmen. Das unerwünschte Verhalten zeigte sich zudem nur bei eigens nachtrainierten Forschungsmodellen, nicht bei regulär eingesetzten Claude-Systemen.

(tobe)