AI Trends

Anthropic and Cisco Integrate Claude Mythos 5 into AI Defense

heise onlineUpdated Nov 19 05:38

AI summary

Anthropic and Cisco have partnered to integrate Claude Mythos 5 into AI Defense for adaptive red-team security testing of AI applications and agents. The model can generate attack ideas and test payloads, adjusting its strategy based on the target's responses. Testing is restricted to authorized targets, all related activity is logged, and access will initially be limited to select enterprise customers.

Body

Anthropic und Cisco kooperieren bei der Absicherung von KI-Agenten. Nachdem Anthropic sein Modell Claude Mythos 5 aufgrund seiner potenziellen Gefährlichkeit nur wenigen Firmen verfügbar machte, integriert Cisco es nun für adaptives Red-Teamings in die KI-Sicherheitsplattform AI Defense.

Weiterlesen nach der Anzeige

Die Mythos-Modelle sollen besonders effektiv im Finden und Ausnutzen von Sicherheitslücken sein. Der Vorgänger Claude Mythos Preview stand daher im Rahmen des Projekts Glasswing zunächst nur ausgewählten Unternehmen für das proaktive Schließen von Zero-Day-Lücken bereit, Mythos 5 erhielten die Partner später als Upgrade.

KI-Agenten abklopfen

Ciscos AI Defense soll jetzt mithilfe des Modells Sicherheitsprüfungen von KI-Applikationen und Agenten durchführen können, um auch Eigenentwicklungen auf Schwachstellen abzuklopfen. Dabei sollen eigens gesetzte Leitplanken verhindern, dass Mythos missbräuchlich eingesetzt wird. Nutzer erhalten einen kontrollierten Zugriff auf Mythos ohne komplett freien Schnittstellenzugriff.

Cisco erklärt dazu, dass sich die spezifischen Risiken aktueller KI-Anwendungen mit herkömmlichen Red-Teaming-Verfahren nicht umfassend testen lassen. Aus diesem Grund hat der Hersteller bei AI Defense ein sogenanntes adaptives Red-Teaming-Agenten-Framework entwickelt und eingeführt.

Anders als standardisierte Sicherheitstests, die unter anderem Prompt Injection und die Offenlegung sensibler Daten prüfen, soll das adaptive Red Teaming die jeweilige Zielumgebung analysieren und darauf abgestimmte Angriffsszenarien entwickeln. Dabei nutzt Claude Mythos seine erweiterten Reasoning-Fähigkeiten, um Angriffsideen zu entwickeln, konkrete Test-Payloads zu generieren und die Vorgehensweise anhand der Reaktionen des Zielsystems anzupassen.

Die Tests beschränken sich auf zuvor registrierte und autorisierte Ziele sowie vom Anwender definierte Prüfaufträge. Sämtliche Aktivitäten werden einem benannten Nutzer zugeordnet und für Audits protokolliert. Auch ein Zugriff auf das öffentliche Internet außerhalb der autorisierten Testumgebung ist nach Angaben von Cisco ausgeschlossen.

Weiterlesen nach der Anzeige

Die bisherigen Standard- und Adaptive-Red-Teaming-Funktionen von AI Defense sind bereits verfügbar. Die Erweiterung um Claude Mythos soll zunächst ausgewählten Unternehmenskunden zur Verfügung stehen. Eine breitere Bereitstellung ist für entsprechend freigegebene Kunden vorgesehen. Zu den konkreten freigegebenen Kundengruppen machte Cisco bisher keine Angaben.

(axk)

Source

heise online