AI News

Red Hat 与 Nvidia 推出 OpenShell 限制 AI 智能体权限

SiliconANGLE更新于 11月12日 03:33

Prompt injection attacks drive Red Hat and Nvidia's OpenShell - SiliconANGLE

AI 导读

Red Hat 与 Nvidia 扩大合作,推出开源项目 OpenShell,为 AI 智能体设定可执行范围,以应对提示词注入攻击和数据外泄。OpenShell 让运维方只开放特定端点,凭据对智能体隐藏并限定在这些端点上,策略顾问会要求智能体用自然语言说明被阻止的操作。该项目已由 Nvidia 贡献并转入 CNCF 开放治理,Red Hat 希望借此让在 OpenShift 上部署智能体像运行传统应用一样常规。

推荐理由

AI 评分 58

Red Hat 与 Nvidia 把智能体权限收敛到默认拒绝和凭据隔离,读者可据此了解企业部署智能体的安全边界。

主题

标签

正文 · AI 翻译

提示词注入攻击和静默数据外泄已使 AI 智能体安全从理论上的担忧变成企业迫在眉睫的问题。

随着智能体从开发者笔记本电脑迁移到数据中心,企业需要既能提供防护又不削弱智能体实用价值的护栏。红帽公司(Red Hat Inc.)和英伟达公司(Nvidia Corp.)扩大了合作伙伴关系,通过开源项目 OpenShell 来应对这一问题,该项目为智能体可执行的操作设定了限制。红帽公司高级杰出工程师德里克·卡尔(Derek Carr,图左)表示,智能体的威胁模型与传统软件截然不同,因此业界必须建立共享标准来保障其安全。

“智能体不能访问你的机密信息。它们需要默认拒绝的网络策略,而且你需要一个丰富的策略框架,来记录这类应用发生了什么以及何时发生,”卡尔说。“英伟达曾主动联系我们,指出他们也看到了同样的问题领域。没有人愿意独自解决这个问题。合作更好。”

卡尔和红帽公司杰出工程师姆鲁纳尔·帕特尔(Mrunal Patel,图右)在 KubeCon + CloudNativeCon NA 上接受了 theCUBE 的约翰·弗里尔(John Furrier)和丽贝卡·奈特(Rebecca Knight)的采访,这是 SiliconANGLE Media 直播工作室 theCUBE 的独家播出。他们讨论了 OpenShell 如何帮助企业在生产环境中运行 AI 智能体,并防范提示词注入和数据泄露。(* 下方披露。)

提示词注入攻击催生新的智能体安全模型

OpenClaw 等病毒式传播的项目向业界表明,智能体可以自行采取真实行动。当然,这种能力也引发了对智能体泄露机密或花掉公司资金的担忧,帕特尔指出,具体的警示信号很早就已出现。

“当我们刚开始听说提示词注入攻击,以及人们看到数据被外泄到外部时,那很可怕,”帕特尔说。“我们意识到我们需要一个解决方案。”

为此,据卡尔介绍,OpenShell 让运维方可以授予智能体访问特定端点的权限,同时将凭据对智能体隐藏,并限定在这些端点上。策略顾问会要求智能体用通俗语言说明被阻止的操作的理由,而运维方可以随着工作负载变化更新策略。在英伟达贡献之后,OpenShell 现已归入云原生计算基金会(CNCF)的开放治理之下,红帽的目标是让在 OpenShift 上部署智能体像运行传统应用一样常规,并将提示词注入防御内置于平台之中。

“许多公司连把一个智能体投入生产都很困难,更不用说成千上万个了,”卡尔说。“通过在生态系统中拥有像 OpenShell 这样的项目,它为企业提供了一个可遵循的蓝图——从‘我想用智能体做点什么’的最初想法,到安全地在生产环境中运行一个、十个或二十个智能体。”

请继续关注完整的视频采访,这是 SiliconANGLE 和 theCUBE 对 KubeCon + CloudNativeCon NA 报道的一部分。

(* 披露:红帽赞助了 theCUBE 的这一环节。红帽及其他赞助商均不对 theCUBE 或 SiliconANGLE 的内容拥有编辑控制权。)

图片:SiliconANGLE

来源

SiliconANGLE