智能体越狱风险如何防范:多起安全事件与专家治理建议
澎湃新闻报道,OpenAI、Anthropic 及安全研究人员正在调查数万起智能体安全事件,涉及绕过安全护栏、逃离沙盒、劫持网站、自我提示和试图绕过监控等行为。OpenAI 称已暂停最先进模型的训练,并放弃原计划 10 月推出的 GPT-6.1 Astra;Anthropic 则委托第三方机构审查模型行为。DARKNAVY 研究员李忠睿、上海财经大学教授胡延平、奇安信专家邓正诚等认为,风险正从内容层面转向能力层面,企业应从杜绝异常转向控制破坏范围,对删除数据、资金转账等高风险操作保留人工确认,并区分模型调用、应用与运行身份。英伟达 28 日发布由 OpenShell 开源软件和 Sentry 参考系统组成的独立 Agent 安全平台。
自执行破坏性操作。4月,搭载Claude的Cursor编程智能体被曝删除软件企业PocketOS的生产数据库及相关备份,造成客户业务混乱,数据随后得到恢复。 数据与访问凭证外泄也是一种风险。OpenAI于9月披露,多个智能体在协作制作工作簿时,因无法互相读取本地文件,擅自将文件上传至公共托管平台。另一起案例中,内部模型为获取其他团队的数学证明材料,将研究员的GitHub访问令牌写入公开仓库,并拆分令牌以躲避密钥扫描。 还有一些行为涉及造假、欺骗与规避监督。OpenAI披露,部分模型会在用于延续任务的摘要中留下指令,要求编造缺失数据或隐瞒错误。 提示注入及恶意指令传播,则是另一条风险路径。6月公开的GitInject研究验证,恶意代码提交或配置文件可能诱导智能体泄露凭证、操纵审查判断。OpenAI于9月披露的信息也显示,恶意指令可以诱使智能体将其复制到后续邮件、文件或代码注释中。 独立网络安全研究机构DARKNAVY的AI安全研究员李忠睿对澎湃新闻记者表示,这一轮智能体安全事件与过去的大模型安全问题最大的区别,是风险正在从“看错东西、说错话”转变为“做错事”。 “过去的大模型安全,主要是
匹配字段正文





