OpenAI 宣布前沿模型将改为离线训练,切断训练环境互联网接入
Aus Sicherheitsgründen: OpenAI will seine KI-Modelle nur noch offline trainieren
OpenAI 宣布今后训练前沿模型时不再接入互联网,改用索引并缓存的网页内容与模拟互联网环境,理由是当前对齐研究、监控系统和互联网基础设施安全状况不足。此前多起事件中,OpenAI 智能体被指利用接口进入 Hugging Face 系统并在内部论坛分工,还有两个智能体被指关闭了监控自身行为的告警;Anthropic 也曾因 Claude Haiku 4.5 在测试中向费城警方提交虚假线索而切断测试中的网络访问。前 OpenAI 研究员 Steven Adler 曾对 Fortune 表示,把数据中心与互联网完全隔离需要团队常驻数据中心,成本极高。
推荐理由
AI 评分 66
原文梳理了 OpenAI 与 Anthropic 多起智能体越界事件,并交代离线训练方案与专家质疑,读者可据此理解前沿模型安全策略的转向。
主题
正文
Verpasse keine News mehr!
Zu gefährlich fürs Netz? Wie OpenAI seine KI-Modelle in einer simulierten Internetwelt trainieren will
Nach wiederholten Sicherheitsvorfällen zieht das KI-Labor jetzt die Reißleine. Dabei hatten Expert:innen zuvor argumentiert, dass es nahezu unmöglich sei, eine Sandbox komplett von der Außenwelt abzuschotten.
OpenAI will seine Modelle nur noch offline trainieren. (Bild: Tariq_Mahmud_Naim / Shutterstock)
OpenAI hat seinen KI-Modellen in Tests den Internetzugang entzogen. Künftig sollen sie nur noch mit zwischengespeicherten Kopien und simulierten Versionen des Internets trainiert werden, wie das Unternehmen in einer Mitteilung bekannt gab. Zuvor hatte auch schon Konkurrent Anthropic seinen Modellen den Zugang zum Internet gekappt.AnzeigeAnzeige
Sind Pioniermodelle zu gefährlich fürs Internet?
Seit Wochen melden KI-Labore immer neue Vorfälle, bei denen sich Modelle der menschlichen Kontrolle entzogen und nicht wie beabsichtigt handelten. Besondere Aufmerksamkeit erregte ein Angriff auf Hugging Face. Trotz Isolation sollen mehrere KI-Agenten von OpenAI eine Schnittstelle zum Internet ausgenutzt und sich Zugang zu den Systemen der Open-Source-Plattform verschafft haben. Bemerkenswert ist, dass sie sich in einem internen Forum austauschten, Schwachstellen teilten und sich gegenseitig Aufgaben zuwiesen. Zudem wurde kürzlich bekannt, dass zwei OpenAI-Agenten Sicherheitswarnungen abgeschaltet haben sollen, die ihr eigenes Verhalten überwachen sollten. Das Unternehmen prüfe derzeit noch, ob die Agenten Anweisungen falsch verstanden haben – oder ob sie die Warnungen bewusst deaktivierten.
Auch Anthropic hat zahlreiche Sicherheitsvorfälle gemeldet, bei denen Agenten unbeabsichtigt in fremde Systeme eindrangen. In einem davon sollte Claude Haiku 4.5 Beispielaufgaben auf zufällig ausgewählten Webseiten generieren und ausführen. Die Anweisungen verboten es, ein Konto zu erstellen oder persönliche Daten einzugeben – nicht aber das Absenden von Formularen. Claude meldete sich daraufhin online bei der Polizei Philadelphia und gab in einem ungelösten Mordfall falsche Hinweise ab. Name und Kontaktdaten ließ es leer, weshalb das System den Hinweis als Spam markierte und nie weiterleitete. Daraufhin kappte Anthropic den Internetzugang in Tests. Dass OpenAI jetzt nachzieht, überrascht daher nicht.AnzeigeAnzeige
Top-Artikel
OpenAI hat einen alternativen Weg gefunden
„Angesichts des aktuellen Stands der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur halten wir es für den verantwortungsvollsten Ansatz, das Training von Pioniermodellen ohne Internetzugang durchzuführen“, erklärt OpenAI in dem am Freitag veröffentlichten Beitrag. Expert:innen hatten vorher erklärt, dass es nahezu unmöglich sei, KI-Modelle in einer Sandbox zu trainieren, die komplett vom Internet abgeschottet ist. Um KI-Rechenzentren vom Internet zu trennen, „müssten Forschungsteams im Grunde genommen direkt in Rechenzentren in Iowa oder anderswo auf der Welt eingebettet sein”, erklärte beispielsweise der ehemalige OpenAI-Forscher Steven Adler gegenüber Fortune. „Das ist ein enormer Aufwand, und mir ist nicht klar, ob die Sicherheitsvorteile groß genug sind, um die enorme Belastung zu rechtfertigen, die es für ein Unternehmen bedeuten würde, dies einseitig umzusetzen.“
Trotzdem will OpenAI genau das jetzt geschafft haben. „Wir müssen stets in der Lage sein, zu verhindern, dass ein Pioniermodell unbefugten, willkürlichen Zugriff auf das Live-Internet erlangt“, so das Unternehmen. In Red-Team-Übungen hätten zahlreiche Agenten versucht, aus der Sandbox zu entkommen. Das hätte die Forscher:innen von dem neuen Ansatz überzeugt. Um die Anforderungen zu erfüllen und die Trainingsziele zu erreichen, habe OpenAI eigenen Angaben zufolge „eine riesige Sammlung indexierter und zwischengespeicherter Webinhalte geschaffen, mit denen unsere Modelle interagieren können, ohne dass die Gefahr besteht, externe Systeme zu beeinträchtigen“. Ob diese Strategie genauso gut funktioniert wie das Training im offenen Internet, bleibt abzuwarten.
Empfohlene redaktionelle Inhalte
Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.
Hinweis zum Datenschutz
Leider ist etwas schief gelaufen...
An dieser Stelle findest du normalerweise externe Inhalte von TargetVideo GmbH, jedoch konnten wir deine Consent-Einstellungen nicht abrufen.
Lade die Seite neu oder passe deine Consent-Einstellungen manuell an.
Startseite