AI News

How Google protects its AI agents from prompt injection attacks—an interview

heise onlineUpdated Nov 16 19:04

AI summary

In an interview in Munich, Google software engineer Viviana Sutedjo discusses how Google protects its AI agents from prompt injection attacks. The article notes that such attacks have escalated from early methods of bypassing LLM restrictions by switching languages or making up stories to more sophisticated techniques such as hiding calendar invitations in emails, tricking agents into falling for them while summarizing emails.

Body

Vor einigen Jahren war es noch relativ leicht, ein Large Language Model (LLM) auszutricksen, um etwa über gesperrte Themen zu sprechen oder Informationen zu leaken, die das Modell zum Training verwendet hat. Dazu reichte es, die Nachricht in einer anderen Sprache zu verfassen oder dem KI-Modell eine herzzerreißende Geschichte über die eigene verstorbene Oma aufzutischen, die jeden Abend über ihre ehemalige Fabrikarbeit zur Herstellung von Napalm erzählte.

Solche Angriffe nennen sich Prompt Injections, namentlich inspiriert von dem bereits bekannten Konzept der Sicherheitslücke SQL Injection. Mittlerweile gehen solche Angriffe über Übersetzungen von Prompts in andere Sprachen hinaus und erfordern clevere Setups wie versteckte Kalendereinladungen in Mails, die KI-Agenten beim E-Mail-Zusammenfassen austricksen.

Interview: So schützt Google seine KI-Agenten vor Prompt Injections

Weltmodelle: Wie KI lernt, die Folgen von Handlungen vorherzusagen

Brauchen Datenarchitekturen für KI-Agenten einen föderierten Knowledge Layer?

Von Gehirnscan zu Bild: Wie KI rekonstruiert, was Menschen gerade sehen

OpenWiki im Test: Gedächtnis für Coding-Agenten

Anleitung: Lokale KI-Modelle mit aktuellen Fakten aus dem Internet anreichern

Wie verkettete Aktionen zum Risiko werden: Stille Post bei KI-Agenten

Wir haben in München mit Viviana Sutedjo über Prompt Injections gesprochen. Sie ist Software-Ingenieurin im Bereich Cybersicherheit und kümmert sich bei Google um die KI-Sicherheit.

Das war die Leseprobe unseres heise-Plus-Artikels "So schützt Google seine KI-Agenten vor Prompt Injections – ein Interview". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.

AnythingLLM liest Dokumente ein und gibt mit einem KI-Chat Antworten dazu. Dabei bleiben Daten und LLM lokal und so vollständig unter Ihrer Kontrolle.

Mit Claude und Xcode entwickeln Sie Mac-Apps, ohne selbst Code zu schreiben. Wir zeigen Schritt für Schritt, wie aus einer Idee eine lauffähige Anwendung wird.

Wenig- oder Vielfahrer, kleine oder große Batterie: Ob und wann sich der ID. Polo gegenüber Raval, Polo und Ibiza rechnet, zeigt unser Kostenvergleich.

Klein und sparsam reicht schon lang nicht mehr: Sechs Mini-PCs mit SoCs von AMD, Apple und Intel zeigen, wie gut sie mit modernen KI-Aufgaben zurechtkommen.

Sprachassistenten im Smart Home vergessen meist alles. Die Integration Home Generative Agent gibt Home Assistant ein Gedächtnis und erstellt Automationen.

Bei der Fritzbox DSL/Fiber 7-90 macht der Hersteller ein paar Hardware-Kompromisse. Die schaden der Performance erstaunlich wenig, senken aber den Stromdurst.

Source

heise online