AI 热点

Anthropic 与 Cisco 将 Claude Mythos 5 集成至 AI Defense

heise online更新于 11月19日 05:38

Anthropic und Cisco integrieren Claude Mythos 5 in AI Defense | heise online

AI 导读

Anthropic 与 Cisco 合作,将 Claude Mythos 5 集成至 AI Defense,用于对 AI 应用和智能体开展自适应红队安全测试。该模型可生成攻击思路与测试载荷,并根据目标响应调整策略;测试仅限授权目标,相关活动均会记录,初期仅向部分企业客户开放。

正文 · AI 翻译

Anthropic 与 Cisco 合作保障 AI 智能体安全。Anthropic 此前因模型 Claude Mythos 5 具有潜在危险性,仅向少数企业开放;如今 Cisco 将其集成到 AI 安全平台 AI Defense 中,用于自适应红队测试。

广告后继续阅读

Mythos 系列模型据称尤其擅长发现和利用安全漏洞。因此,其前代模型 Claude Mythos Preview 最初仅在 Glasswing 项目框架内向部分企业开放,以主动修复零日漏洞,合作伙伴随后通过升级获得了 Mythos 5。

检验 AI 智能体

借助该模型,Cisco 的 AI Defense 现在将能够对 AI 应用和智能体进行安全测试,从而检查企业自主开发的产品是否存在漏洞。专门设置的防护措施旨在防止 Mythos 被滥用。用户可以在无法完全自由访问接口的情况下,以受控方式使用 Mythos。

Cisco 对此解释称,传统红队测试方法无法全面检验当前 AI 应用面临的特定风险。因此,该厂商为 AI Defense 开发并引入了一个所谓的自适应红队智能体框架。

与检查提示词注入和敏感数据泄露等问题的标准化安全测试不同,自适应红队测试旨在分析具体目标环境,并制定与之匹配的攻击场景。Claude Mythos 会利用其增强的推理能力构思攻击方案、生成具体的测试载荷,并根据目标系统的响应调整测试方式。

测试仅限于事先登记并获得授权的目标,以及用户定义的测试任务。所有活动都会关联至指定用户,并记录日志以供审计。据 Cisco 称,系统也无法访问授权测试环境之外的公共互联网。

广告后继续阅读

AI Defense 现有的标准红队测试和自适应红队测试功能已经上线。集成 Claude Mythos 的扩展功能将首先向部分企业客户开放,随后计划向获得相应批准的客户进行更广泛的部署。Cisco 目前尚未说明具体获准使用该功能的客户群体。

(axk)

来源

heise online