Jensen Huang discusses AI safety at Nvidia GTC Berlin: advocates engineering constraints rather than mandatory regulation
At Nvidia GTC Berlin, Jensen Huang said safety is the top issue in current AI discussions, and advocated using engineering and technology rather than regulation to prevent AI from causing harm, while opposing the mandatory coordinated brake mechanism proposed by Anthropic CEO Dario Amodei. At the conference, Nvidia released the OpenShell reference architecture for enterprises to develop, run and monitor AI agents at scale; Anthropic, Meta, OpenAI and others are reportedly already using it, but the extent of use was not disclosed. The article also mentioned that in July 2026, OpenAI's AI agent broke out of a test sandbox into Hugging Face infrastructure, as well as several other incidents this year in which models from other vendors carried out cyberattacks during testing.
Why read this
AI score 63
At GTC, Jensen Huang made AI safety the top issue while explicitly opposing mandatory regulation and advocating engineering means to constrain agents, revealing divisions in the safety governance approach.
Topics
Body
close notice
This article is also available in English.
It was translated with technical assistance and editorially reviewed before publication.
.
Auf der Nvidia GTC in Berlin stellte Jensen Huang ein KI-Thema über alle anderen: „Sicherheit ist heute die Diskussion Nummer eins in der KI“, sagt er. Das trifft einen Nerv. Im Juli 2026 brachen KI-Agenten von OpenAI aus ihrer Test-Sandbox aus und drangen in die Infrastruktur von Hugging Face ein. Es war nicht der einzige unbeabsichtigte Hack durch KI-Agenten: Dieses Jahr mehrten sich Vorfälle, bei denen Modelle anderer KI-Entwickler wie Anthropic, Google und Meta in Tests Cyberangriffe ausführten.
Weiterlesen nach der Anzeige
So etwas erschüttert das Vertrauen in KI. Und das schadet der Akzeptanz und potenziell dem weiteren Ausbau künstlicher Intelligenz. „Wenn du weißt, dass dein Produkt der Gesellschaft schadet, hör sofort auf“, sagt der Nvidia-CEO mit Blick auf potenzielle Cybergefahren bei der Entwicklung von KI-Modellen, „hör auf, Schaden anzurichten.“
Allerdings: Die Idee von einer gesetzlich erzwungenen, koordinierten Bremse – wie sie etwa Anthropic-Chef Dario Amodei im September vorschlug – lehnt Huang ab. Wer sich selbst zu so etwas zwingen lassen möchte, könne sich gern dafür einsetzen. „Aber du musst nicht dafür werben, dass jemand alle zwingt.“
Engineering statt Regulierung
Für den Nvidia-CEO sind die bisherigen Vorfälle ein technologisches Problem: „Regulierung hätte sie nicht gestoppt, Ingenieure und Technologie schon.“ Passenderweise hat sein Unternehmen diese Technologie nun im Angebot.
Frisch auf dem Berliner Event hat Nvidia seine OpenShell-Referenzarchitektur vorgestellt, mit der Unternehmen KI-Agenten im industriellen Maßstab entwickeln, betreiben und sicher überwachen sollen (wir berichteten). Mit ihr arbeiten nach Angaben von Nvidia unter anderem Anthropic, Meta und OpenAI, deren Agenten in diesem Jahr selbst durch unerlaubte Zugriffe aufgefallen waren. Wie weit die Unternehmen OpenShell bereits einsetzen, blieb offen.
Die Grundlage bildet die seit März verfügbare Open-Source-Software OpenShell. Sie soll über fein abgestufte Regeln festlegen, auf welche Dateien, Netzwerke und Werkzeuge ein Agent zugreifen darf. Zusätzlich plant Nvidia eine hardwaregestützte Überwachung durch sein Sentry-System, das auf BlueField-4-DPUs laufen und auch die Gedankengänge von KI-Modellen auf verdächtiges Verhalten prüfen soll. Sentry ist allerdings erst für Anfang 2027 angekündigt. Das Repository auf GitHub erfreut sich derweil großer Beliebtheit: Von seinen 18.000 Sternen hat es mehr als die Hälfte in den letzten vier Wochen erhalten.
Super-Agenten und der Familienroboter
Weiterlesen nach der Anzeige
Wie Jensen Huang sich die Zukunft vorstellt, beschreibt er auf die Frage nach dem nächsten großen Durchbruch. Im Gewerbe sieht er spezialisierte „Super-Agenten“. Unternehmen sollen sie mit ihren eigenen Daten trainieren und ihnen spezielle Werkzeuge an die Hand geben. In ihrem Fachgebiet seien sie damit „viel schlauer als alles, was man aus der Cloud bekommt“. Diese Agenten würden als Manager eigenständig eine Vielzahl von Sub-Agenten erstellen und mit speziellen Aufgaben beauftragen. Auch Partnerschaften zwischen Firmen sollen nach der Vision Huangs künftig über Agenten laufen: „Wenn Ihr Unternehmen und mein Unternehmen zusammenarbeiten, verbinden wir vielleicht keine Menschen mehr miteinander. Wir verbinden Agenten.“
Auch für Privathaushalte hat Huang KI-Agenten im Blick. Die sollen lokal in einem gemeinsamen Heimrechner arbeiten, den die ganze Familie nutzt – ähnlich einem Fernseher. Huang selbst habe einen DGX Spark zu Hause. „Vor der Landung haben wir mit unserem Agenten daheim gesprochen und ihn gebeten herauszufinden, wer das beste Schnitzel hat. Er hat eine Broschüre erstellt, mit Bildern von jedem Restaurant und den Speisekarten“, schildert er. In seiner Vision also wird der KI-Rechner zum „Roboter der Familie“, nur eben ohne Arme und Beine.
In der Zukunft sollen Unternehmen und Privatnutzer nach den Vorstellungen von Nvidia also deutlich mehr KI-Agenten einsetzen. Dabei muss man sich darauf verlassen können, dass sie ihre umfangreichen Aufgaben verantwortungsvoll umsetzen. Ob OpenShell und die zugehörige Referenzarchitektur künftig zuverlässig dafür sorgen, dass KI-Agenten dabei keine gefährlichen Dummheiten mehr anstellen können, ist bislang nicht nachgewiesen. Zudem können technische Schutzmaßnahmen versagen, und die Überwachung der Gedankengänge von KI-Modellen ist selbst noch ein ungelöstes Sicherheitsproblem.
(dgi)