Google 如何保护其 AI 智能体免受提示词注入攻击——专访
So schützt Google seine KI-Agenten vor Prompt Injections – ein Interview | heise online
Google 软件工程师 Viviana Sutedjo 在慕尼黑接受专访,谈 Google 如何保护其 AI 智能体免受提示词注入攻击。文章指出,这类攻击已从早期靠换语言或编故事绕过 LLM 限制,升级为在邮件中藏日历邀请等更精巧的手法,诱骗智能体在总结邮件时中招。
正文
Vor einigen Jahren war es noch relativ leicht, ein Large Language Model (LLM) auszutricksen, um etwa über gesperrte Themen zu sprechen oder Informationen zu leaken, die das Modell zum Training verwendet hat. Dazu reichte es, die Nachricht in einer anderen Sprache zu verfassen oder dem KI-Modell eine herzzerreißende Geschichte über die eigene verstorbene Oma aufzutischen, die jeden Abend über ihre ehemalige Fabrikarbeit zur Herstellung von Napalm erzählte.
Solche Angriffe nennen sich Prompt Injections, namentlich inspiriert von dem bereits bekannten Konzept der Sicherheitslücke SQL Injection. Mittlerweile gehen solche Angriffe über Übersetzungen von Prompts in andere Sprachen hinaus und erfordern clevere Setups wie versteckte Kalendereinladungen in Mails, die KI-Agenten beim E-Mail-Zusammenfassen austricksen.
Interview: So schützt Google seine KI-Agenten vor Prompt Injections
Weltmodelle: Wie KI lernt, die Folgen von Handlungen vorherzusagen
Brauchen Datenarchitekturen für KI-Agenten einen föderierten Knowledge Layer?
Von Gehirnscan zu Bild: Wie KI rekonstruiert, was Menschen gerade sehen
OpenWiki im Test: Gedächtnis für Coding-Agenten
Anleitung: Lokale KI-Modelle mit aktuellen Fakten aus dem Internet anreichern
Wie verkettete Aktionen zum Risiko werden: Stille Post bei KI-Agenten
Wir haben in München mit Viviana Sutedjo über Prompt Injections gesprochen. Sie ist Software-Ingenieurin im Bereich Cybersicherheit und kümmert sich bei Google um die KI-Sicherheit.
Das war die Leseprobe unseres heise-Plus-Artikels "So schützt Google seine KI-Agenten vor Prompt Injections – ein Interview". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
AnythingLLM liest Dokumente ein und gibt mit einem KI-Chat Antworten dazu. Dabei bleiben Daten und LLM lokal und so vollständig unter Ihrer Kontrolle.
Mit Claude und Xcode entwickeln Sie Mac-Apps, ohne selbst Code zu schreiben. Wir zeigen Schritt für Schritt, wie aus einer Idee eine lauffähige Anwendung wird.
Wenig- oder Vielfahrer, kleine oder große Batterie: Ob und wann sich der ID. Polo gegenüber Raval, Polo und Ibiza rechnet, zeigt unser Kostenvergleich.
Klein und sparsam reicht schon lang nicht mehr: Sechs Mini-PCs mit SoCs von AMD, Apple und Intel zeigen, wie gut sie mit modernen KI-Aufgaben zurechtkommen.
Sprachassistenten im Smart Home vergessen meist alles. Die Integration Home Generative Agent gibt Home Assistant ein Gedächtnis und erstellt Automationen.
Bei der Fritzbox DSL/Fiber 7-90 macht der Hersteller ein paar Hardware-Kompromisse. Die schaden der Performance erstaunlich wenig, senken aber den Stromdurst.