Red Hat 与 Nvidia 推出 OpenShell 限制 AI 智能体权限
Prompt injection attacks drive Red Hat and Nvidia's OpenShell - SiliconANGLE
Red Hat 与 Nvidia 扩大合作,推出开源项目 OpenShell,为 AI 智能体设定可执行范围,以应对提示词注入攻击和数据外泄。OpenShell 让运维方只开放特定端点,凭据对智能体隐藏并限定在这些端点上,策略顾问会要求智能体用自然语言说明被阻止的操作。该项目已由 Nvidia 贡献并转入 CNCF 开放治理,Red Hat 希望借此让在 OpenShift 上部署智能体像运行传统应用一样常规。
正文 · AI 翻译
提示词注入攻击和静默数据外泄已使 AI 智能体安全从理论上的担忧变成企业迫在眉睫的问题。
随着智能体从开发者笔记本电脑迁移到数据中心,企业需要既能提供防护又不削弱智能体实用价值的护栏。红帽公司(Red Hat Inc.)和英伟达公司(Nvidia Corp.)扩大了合作伙伴关系,通过开源项目 OpenShell 来应对这一问题,该项目为智能体可执行的操作设定了限制。红帽公司高级杰出工程师德里克·卡尔(Derek Carr,图左)表示,智能体的威胁模型与传统软件截然不同,因此业界必须建立共享标准来保障其安全。
“智能体不能访问你的机密信息。它们需要默认拒绝的网络策略,而且你需要一个丰富的策略框架,来记录这类应用发生了什么以及何时发生,”卡尔说。“英伟达曾主动联系我们,指出他们也看到了同样的问题领域。没有人愿意独自解决这个问题。合作更好。”
卡尔和红帽公司杰出工程师姆鲁纳尔·帕特尔(Mrunal Patel,图右)在 KubeCon + CloudNativeCon NA 上接受了 theCUBE 的约翰·弗里尔(John Furrier)和丽贝卡·奈特(Rebecca Knight)的采访,这是 SiliconANGLE Media 直播工作室 theCUBE 的独家播出。他们讨论了 OpenShell 如何帮助企业在生产环境中运行 AI 智能体,并防范提示词注入和数据泄露。(* 下方披露。)
提示词注入攻击催生新的智能体安全模型
OpenClaw 等病毒式传播的项目向业界表明,智能体可以自行采取真实行动。当然,这种能力也引发了对智能体泄露机密或花掉公司资金的担忧,帕特尔指出,具体的警示信号很早就已出现。
“当我们刚开始听说提示词注入攻击,以及人们看到数据被外泄到外部时,那很可怕,”帕特尔说。“我们意识到我们需要一个解决方案。”
为此,据卡尔介绍,OpenShell 让运维方可以授予智能体访问特定端点的权限,同时将凭据对智能体隐藏,并限定在这些端点上。策略顾问会要求智能体用通俗语言说明被阻止的操作的理由,而运维方可以随着工作负载变化更新策略。在英伟达贡献之后,OpenShell 现已归入云原生计算基金会(CNCF)的开放治理之下,红帽的目标是让在 OpenShift 上部署智能体像运行传统应用一样常规,并将提示词注入防御内置于平台之中。
“许多公司连把一个智能体投入生产都很困难,更不用说成千上万个了,”卡尔说。“通过在生态系统中拥有像 OpenShell 这样的项目,它为企业提供了一个可遵循的蓝图——从‘我想用智能体做点什么’的最初想法,到安全地在生产环境中运行一个、十个或二十个智能体。”
请继续关注完整的视频采访,这是 SiliconANGLE 和 theCUBE 对 KubeCon + CloudNativeCon NA 报道的一部分。
(* 披露:红帽赞助了 theCUBE 的这一环节。红帽及其他赞助商均不对 theCUBE 或 SiliconANGLE 的内容拥有编辑控制权。)
图片:SiliconANGLE