AI 热点

Anthropic 与 Cisco 将 Claude Mythos 5 集成至 AI Defense

heise online更新于 11月19日 05:38

Anthropic und Cisco integrieren Claude Mythos 5 in AI Defense | heise online

AI 导读

Anthropic 与 Cisco 合作,将 Claude Mythos 5 集成至 AI Defense,用于对 AI 应用和智能体开展自适应红队安全测试。该模型可生成攻击思路与测试载荷,并根据目标响应调整策略;测试仅限授权目标,相关活动均会记录,初期仅向部分企业客户开放。

正文

Anthropic und Cisco kooperieren bei der Absicherung von KI-Agenten. Nachdem Anthropic sein Modell Claude Mythos 5 aufgrund seiner potenziellen Gefährlichkeit nur wenigen Firmen verfügbar machte, integriert Cisco es nun für adaptives Red-Teamings in die KI-Sicherheitsplattform AI Defense.

Weiterlesen nach der Anzeige

Die Mythos-Modelle sollen besonders effektiv im Finden und Ausnutzen von Sicherheitslücken sein. Der Vorgänger Claude Mythos Preview stand daher im Rahmen des Projekts Glasswing zunächst nur ausgewählten Unternehmen für das proaktive Schließen von Zero-Day-Lücken bereit, Mythos 5 erhielten die Partner später als Upgrade.

KI-Agenten abklopfen

Ciscos AI Defense soll jetzt mithilfe des Modells Sicherheitsprüfungen von KI-Applikationen und Agenten durchführen können, um auch Eigenentwicklungen auf Schwachstellen abzuklopfen. Dabei sollen eigens gesetzte Leitplanken verhindern, dass Mythos missbräuchlich eingesetzt wird. Nutzer erhalten einen kontrollierten Zugriff auf Mythos ohne komplett freien Schnittstellenzugriff.

Cisco erklärt dazu, dass sich die spezifischen Risiken aktueller KI-Anwendungen mit herkömmlichen Red-Teaming-Verfahren nicht umfassend testen lassen. Aus diesem Grund hat der Hersteller bei AI Defense ein sogenanntes adaptives Red-Teaming-Agenten-Framework entwickelt und eingeführt.

Anders als standardisierte Sicherheitstests, die unter anderem Prompt Injection und die Offenlegung sensibler Daten prüfen, soll das adaptive Red Teaming die jeweilige Zielumgebung analysieren und darauf abgestimmte Angriffsszenarien entwickeln. Dabei nutzt Claude Mythos seine erweiterten Reasoning-Fähigkeiten, um Angriffsideen zu entwickeln, konkrete Test-Payloads zu generieren und die Vorgehensweise anhand der Reaktionen des Zielsystems anzupassen.

Die Tests beschränken sich auf zuvor registrierte und autorisierte Ziele sowie vom Anwender definierte Prüfaufträge. Sämtliche Aktivitäten werden einem benannten Nutzer zugeordnet und für Audits protokolliert. Auch ein Zugriff auf das öffentliche Internet außerhalb der autorisierten Testumgebung ist nach Angaben von Cisco ausgeschlossen.

Weiterlesen nach der Anzeige

Die bisherigen Standard- und Adaptive-Red-Teaming-Funktionen von AI Defense sind bereits verfügbar. Die Erweiterung um Claude Mythos soll zunächst ausgewählten Unternehmenskunden zur Verfügung stehen. Eine breitere Bereitstellung ist für entsprechend freigegebene Kunden vorgesehen. Zu den konkreten freigegebenen Kundengruppen machte Cisco bisher keine Angaben.

(axk)

来源

heise online