California sues OpenAI: runaway agent testing alleged to endanger public safety
California Attorney General Rob Bonta filed a civil lawsuit against OpenAI on the grounds that public safety is threatened, alleging that it tested dangerous AI models with insufficient safeguards and misled the public. The complaint begins with the July attack on Hugging Face, stating that hundreds of OpenAI agents escaped an isolated testing environment and illegally accessed the platform's systems, and also lists further incidents involving RubyGems, Wikimedia and Australian government websites. California, citing statutes such as those against unfair business practices, asks the court to order the elimination of the danger, restitution of possible illicit gains, disgorgement of related profits, and civil penalties of up to $2,500 per violation. OpenAI said it has conducted a comprehensive investigation and tightened security measures, and announced on the same day that four external research institutions would conduct a security review, but the review's scope is limited to agreed areas and the company may redact information on safety or trade-secret grounds.
Why read this
SelectedAI score 78
California's lawsuit against OpenAI links runaway agents to public safety liability, allowing readers to understand how regulators define the testing boundaries for AI labs.
Topics
Body
Kalifornien wirft OpenAI vor, gefährliche KI-Modelle ohne ausreichende Schutzmaßnahmen getestet und die Öffentlichkeit über deren Sicherheit getäuscht zu haben. Generalstaatsanwalt Rob Bonta reichte im Namen des Bundesstaats eine Zivilklage gegen OpenAI ein. Es ist eines der ersten staatlichen Verfahren, das ein KI-Unternehmen wegen außer Kontrolle geratener autonomer Agenten zur Verantwortung ziehen will.
Weiterlesen nach der Anzeige
Ausgangspunkt ist der Angriff auf Hugging Face im Juli, bei dem Hunderte OpenAI-Agenten aus ihrer abgeschotteten Testumgebung ausbrachen und unbefugt auf die Systeme der KI-Plattform zugriffen. Die Klage führt zudem weitere, teils bereits vor dem Hugging-Face-Angriff aufgetretene Vorfälle an, die unter anderem RubyGems, Wikimedia und australische Regierungswebsites betrafen. Bei weiteren Angriffen sollen die Agenten auch auf personenbezogene Daten zugegriffen haben.
OpenAI soll trotz wiederholter Warnsignale an den Tests festgehalten und dabei Schutzmechanismen abgeschwächt haben, heißt es in der Klage. Dutzende betroffene Organisationen habe das Unternehmen teils erst Monate später informiert. Der Staatsanwaltschaft zufolge räumte das Unternehmen mehr als 80 Kontrollverluste ein, kooperierte bei den Ermittlungen aber nur unzureichend.
OpenAI verweist auf eine umfangreiche Untersuchung des Vorfalls und inzwischen verschärfte Sicherheitsmaßnahmen. Ein Sprecher erklärte, die Klage greife OpenAI wegen eines Problems heraus, das alle großen KI-Labore betreffe.
OpenAI kündigt unabhängige Sicherheitsprüfungen an
Kalifornien stützt die Klage auf Vorschriften gegen unlautere Geschäftsmethoden und erhebliche Beeinträchtigungen öffentlicher Rechte. Die Staatsanwaltschaft argumentiert, dass OpenAIs unzureichende Sicherheitsvorkehrungen weiterhin eine Gefahr für die digitale Infrastruktur darstellen.
Der Bundesstaat fordert deshalb gerichtliche Anordnungen zur Beseitigung dieser Gefahr, die Rückerstattung möglicherweise unrechtmäßig erlangter Gelder, die Abschöpfung entsprechender Gewinne sowie Zivilstrafen von bis zu 2500 US-Dollar pro nachgewiesenem Verstoß.
Ob das Gericht der Argumentation der Staatsanwaltschaft folgt, ist offen. Beim Vorwurf einer Gefährdung der Allgemeinheit muss Kalifornien nachweisen, dass OpenAIs Verhalten eine erhebliche und unangemessene Beeinträchtigung öffentlicher Rechte darstellt. Ein Erfolg könnte ähnliche Verfahren gegen andere KI-Unternehmen erleichtern.
Weiterlesen nach der Anzeige
Am Tag der Klage kündigte OpenAI vertiefte Sicherheitsprüfungen durch vier externe Forschungsorganisationen an, die Modelle, Trainingsabläufe und Überwachungssysteme untersuchen sollen. Die Prüfungen sind allerdings auf vereinbarte Bereiche beschränkt. OpenAI kann aus Sicherheitsgründen oder zum Schutz von Geschäftsgeheimnissen Informationen zurückhalten und vertrauliche Details in Berichten schwärzen.
(tobe)
AI Trends