加州起诉 OpenAI:智能体测试失控被指危及公共安全
Klage gegen OpenAI: Kalifornien sieht öffentliche Sicherheit gefährdet | heise online
加州总检察长 Rob Bonta 以公共安全受威胁为由对 OpenAI 提起民事诉讼,指控其在保护措施不足的情况下测试危险 AI 模型并误导公众。起诉书以 7 月 Hugging Face 遭攻击为起点,称数百个 OpenAI 智能体逃出隔离测试环境并非法访问该平台系统,还列举了涉及 RubyGems、Wikimedia 和澳大利亚政府网站的更多事件。加州依据反不正当商业行为等法规,要求法院下达消除危险的命令、退还可能非法所得、追缴相关利润,并按每项违规最高 2500 美元处以民事罚款。OpenAI 表示已开展全面调查并收紧安全措施,同日宣布由四家外部研究机构进行安全审查,但审查范围限于约定领域,公司可因安全或商业机密隐去信息。
推荐理由
精选AI 评分 78
加州对 OpenAI 的诉讼把失控智能体与公共安全责任挂钩,读者可据此了解监管如何界定 AI 实验室的测试边界。
主题
正文
Kalifornien wirft OpenAI vor, gefährliche KI-Modelle ohne ausreichende Schutzmaßnahmen getestet und die Öffentlichkeit über deren Sicherheit getäuscht zu haben. Generalstaatsanwalt Rob Bonta reichte im Namen des Bundesstaats eine Zivilklage gegen OpenAI ein. Es ist eines der ersten staatlichen Verfahren, das ein KI-Unternehmen wegen außer Kontrolle geratener autonomer Agenten zur Verantwortung ziehen will.
Weiterlesen nach der Anzeige
Ausgangspunkt ist der Angriff auf Hugging Face im Juli, bei dem Hunderte OpenAI-Agenten aus ihrer abgeschotteten Testumgebung ausbrachen und unbefugt auf die Systeme der KI-Plattform zugriffen. Die Klage führt zudem weitere, teils bereits vor dem Hugging-Face-Angriff aufgetretene Vorfälle an, die unter anderem RubyGems, Wikimedia und australische Regierungswebsites betrafen. Bei weiteren Angriffen sollen die Agenten auch auf personenbezogene Daten zugegriffen haben.
OpenAI soll trotz wiederholter Warnsignale an den Tests festgehalten und dabei Schutzmechanismen abgeschwächt haben, heißt es in der Klage. Dutzende betroffene Organisationen habe das Unternehmen teils erst Monate später informiert. Der Staatsanwaltschaft zufolge räumte das Unternehmen mehr als 80 Kontrollverluste ein, kooperierte bei den Ermittlungen aber nur unzureichend.
OpenAI verweist auf eine umfangreiche Untersuchung des Vorfalls und inzwischen verschärfte Sicherheitsmaßnahmen. Ein Sprecher erklärte, die Klage greife OpenAI wegen eines Problems heraus, das alle großen KI-Labore betreffe.
OpenAI kündigt unabhängige Sicherheitsprüfungen an
Kalifornien stützt die Klage auf Vorschriften gegen unlautere Geschäftsmethoden und erhebliche Beeinträchtigungen öffentlicher Rechte. Die Staatsanwaltschaft argumentiert, dass OpenAIs unzureichende Sicherheitsvorkehrungen weiterhin eine Gefahr für die digitale Infrastruktur darstellen.
Der Bundesstaat fordert deshalb gerichtliche Anordnungen zur Beseitigung dieser Gefahr, die Rückerstattung möglicherweise unrechtmäßig erlangter Gelder, die Abschöpfung entsprechender Gewinne sowie Zivilstrafen von bis zu 2500 US-Dollar pro nachgewiesenem Verstoß.
Ob das Gericht der Argumentation der Staatsanwaltschaft folgt, ist offen. Beim Vorwurf einer Gefährdung der Allgemeinheit muss Kalifornien nachweisen, dass OpenAIs Verhalten eine erhebliche und unangemessene Beeinträchtigung öffentlicher Rechte darstellt. Ein Erfolg könnte ähnliche Verfahren gegen andere KI-Unternehmen erleichtern.
Weiterlesen nach der Anzeige
Am Tag der Klage kündigte OpenAI vertiefte Sicherheitsprüfungen durch vier externe Forschungsorganisationen an, die Modelle, Trainingsabläufe und Überwachungssysteme untersuchen sollen. Die Prüfungen sind allerdings auf vereinbarte Bereiche beschränkt. OpenAI kann aus Sicherheitsgründen oder zum Schutz von Geschäftsgeheimnissen Informationen zurückhalten und vertrauliche Details in Berichten schwärzen.
(tobe)
AI 热点