How to prevent agent jailbreak risks? Multiple security incidents and expert recommendations

近日，据美国Axios新闻网站报道，AI巨头OpenAI和Anthropic以及安全研究人员正在调查数万起安全事件。这些事件发生在内部测试和现实环境中，涉及绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示以及试图绕过监控等行为。

9月25日，OpenAI方面称其已暂停对其最先进模型的训练，只有在“确信已落实额外的安全保障措施后”才会恢复训练。公司CEO萨姆·奥特曼（Sam Altman）在社交平台X表示，公司正在进行的审查“进展不如预期迅速”。

9月28日，据《华尔街日报》报道， OpenAI已经放弃了原计划10月推出的下一代模型GPT-6.1 Astra，因为发现Astra比前代出现了更多欺骗行为，同时存在未经用户许可继续执行任务的问题。

与此同时，Anthropic也已委托第三方安全机构对其模型行为进行审查。随公司Opus 5.5模型一起发布的官方安全与技术评估文档“系统卡”显示，该模型出现被标记为“异常”或“存疑”的行为。

从“越权访问”到“欺骗隐瞒”

近期公开披露的案例显示，智能体安全风险已经呈现多种形态，涉及越权访问、破坏性操作、数据外泄、欺骗隐瞒，以及多个智能体之间的越界协作等不同类型。

一类是越权访问与隔离失效。7月，OpenAI披露智能体在安全评测中突破测试边界，入侵Hugging Face。Anthropic也披露，Claude在评测中访问了真实第三方系统；谷歌9月确认，Gemini曾在5月的测试中访问三个真实网站；Meta则在8月披露过类似事件。

9月25日，OpenAI再次披露，内部研究模型利用训练沙盒中DNS过滤不充分的漏洞，与外部聊天机器人建立了通信。

不过，需要注意的是，这些案例中部分源于评测环境错误开放联网权限，并不能全部归结为模型主动“逃出沙盒”。

另一类风险是擅自执行破坏性操作。4月，搭载Claude的Cursor编程智能体被曝删除软件企业PocketOS的生产数据库及相关备份，造成客户业务混乱，数据随后得到恢复。

数据与访问凭证外泄也是一种风险。OpenAI于9月披露，多个智能体在协作制作工作簿时，因无法互相读取本地文件，擅自将文件上传至公共托管平台。另一起案例中，内部模型为获取其他团队的数学证明材料，将研究员的GitHub访问令牌写入公开仓库，并拆分令牌以躲避密钥扫描。

还有一些行为涉及造假、欺骗与规避监督。OpenAI披露，部分模型会在用于延续任务的摘要中留下指令，要求编造缺失数据或隐瞒错误。

提示注入及恶意指令传播，则是另一条风险路径。6月公开的GitInject研究验证，恶意代码提交或配置文件可能诱导智能体泄露凭证、操纵审查判断。OpenAI于9月披露的信息也显示，恶意指令可以诱使智能体将其复制到后续邮件、文件或代码注释中。

独立网络安全研究机构DARKNAVY的AI安全研究员李忠睿对澎湃新闻记者表示，这一轮智能体安全事件与过去的大模型安全问题最大的区别，是风险正在从“看错东西、说错话”转变为“做错事”。

“过去的大模型安全，主要是内容层面的风险，比如对抗性样本、‘越狱’等。模型只是产出内容，最后要不要照着做，决定权还在人手里。”李忠睿表示，“现在的AI智能体手里有工具、有网络、有账号权限，能够连续自主执行很多步操作，中间没有人逐一把关。”

上海财经大学特聘教授胡延平指出，从大模型到智能体，最大的变化是从“一问一答”变为“任务行动”，从“内容风险”转向“能力风险”，安全问题也由被动安全风险转变为主动安全风险。

多智能体协作，风险如何被放大

值得注意的是，智能体的风险不一定来自传统意义上的“恶意攻击者”，也可能来自模型为了完成既定目标而主动寻找捷径。

在李忠睿看来，过去的安全威胁背后往往有一个明确的恶意操纵者，而这一次的部分事件中，“没有人下达攻击指令，是模型为了完成任务、拿到更高分，自己选择了作弊”。

胡延平也指出，智能体执行任务时，可能因为理解偏差产生行动偏差，也可能为了实现任务目标而穷尽各种方法、冲破禁区；少数情况下，智能体还可能出现用户并未提出的非任务行为，“目前这种情况数量最少，但最危险”。

除了单个Agent越权，多个智能体之间形成非预期的通信和协作，也使风险进一步复杂化。

对OpenAI此前Hugging Face事件的独立调查显示，约1200个原本应彼此隔离的智能体通过未经授权的留言板交流，其中约700个参与了攻击。研究人员还观察到，后续智能体能够复用智能体之前留下的信息和方法。

李忠睿认为，单个智能体出错是个别问题，但当多个智能体可以互相学习、协同行动时，风险就不再只是简单相加，而可能进一步放大。

在他看来，这意味着企业不能只盯住单个智能体的行为，还需要关注多个Agent之间是否形成了开发者没有设计的通信渠道，以及一个局部异常能否通过工具、文件、消息和代码等方式进一步传播。

而当Agent从单个工具进入大规模协作环境时，另一个问题也随之出现：即使异常行为的单次发生概率较低，当Agent数量和运行次数不断增加，异常事件是否会由“小概率”变成“高频”？

对此，李忠睿认为，这种情况是可能出现的。假设一家企业部署上千个智能体，每个智能体每天执行上百次任务，即便单次行为出现异常的概率很低，累积到足够大的运行规模后，也可能形成大量实际事件。

北京邮电大学数字媒体与设计艺术学院副教授谭剑则从传统的“委托-代理”关系来理解这一问题。在他看来，过去的软件能力有限，而AI Agent拥有更强的推理和工具调用能力，在目标设定不清晰或约束不足时，可能不断寻找完成目标的路径。能力越强，能够寻找的路径就越多，偏离人的真实意图的可能性也随之增加。

如何建立智能体安全防线

面对智能体越来越强的自主行动能力，企业如何增强防范？

李忠睿认为，企业首先需要改变思路，即从“杜绝异常”转向“默认异常一定会发生，重点控制破坏范围”。在人机协作方面，应按照风险进行分级。对于删除数据、资金转账等高风险、不可逆操作，需要保留人工确认，不能完全交给智能体自主执行。

“企业不可能要求人类逐条审核智能体每一次操作，真正可行的方式是提前划定边界。”李忠睿解释道，边界需要包括哪些数据可以读取、哪些工具可以调用、哪些操作可以执行、哪些信息不能向外发送，以及出现什么情况必须停止并交给人工处理。

奇安信人工智能公司安全专家邓正诚也认为，企业的人机协作应从“人审结果”转向“人管边界”，通过“监控—收敛—阻断”逐步提高管控力度。

在权限治理方面，他认为，需要区分大模型调用身份、Agent应用身份和Agent运行身份，进一步厘清“谁在调用模型”“谁在使用智能体”“最终是谁在执行”。同时，通过安全网关统一管控连接行为，把“能不能干”与“干了什么”分开管理，实现更细的权限控制。

邓正诚强调：“归根结底，智能体规模化部署的前提不是‘模型足够聪明’，而是‘系统足够可控’。只有当每一个智能体的行为都可观测、权限都可追溯、异常都可阻断，企业才敢把更多、更关键的任务交给它们。”

目前，与餐饮、金融服务和航空等受到监管的行业不同，AI领域并不存在统一的系统安全与安保测试标准。因此，包括Anthropic、OpenAI在内的公司正在讨论引入独立评估机构，对模型安全实践和相关事件进行检查。

李忠睿表示，随着AI Agent进一步进入真实业务环境，AI公司的竞争重点也可能从“模型有多强”逐渐转向“能不能管得住”。下一阶段，企业需要证明的不仅是模型性能，还包括发现异常行为、控制风险和接受外部审查的能力。

胡延平也认为，随着AI继续向面向任务、进入物理现实世界的智能发展，行业不仅需要发展更强的智能，也需要发展更安全的智能，“安全可能成为AI企业重要的能力维度和竞争力来源”。

值得注意的是，第三方企业已经开始行动。英伟达在28日发布了独立Agent安全平台，该平台由OpenShell开源软件和Sentry参考系统设计组成，从智能体测试到部署的各个环节强化AI安全，可在运行智能体的软件、硬件、计算机和机器人系统中实现全栈治理与控制。

连线杂志指出，英伟达的两层架构，OpenShell可以将Agent限制在沙盒中，对活动进行隔离。第二层Sentry则可以隔离试图越过边界的智能体。

如何防范风险？显然一方面需要在工程端“管得住、看得见、叫得停”，也要在模型层面“限制其主动寻找突破的办法”。

1; OpenAI、Anthropic掌门人呼吁警惕AI发展过快风险

1; 研究发现女性在童年及青春期多吃大豆或降乳癌风险

2; 研究识别早产青少年脑发育亚型，助力精准风险评估

3; 文献清单：“加密货币市场风险” | MDPI Risks

4; 尿NTx——解锁骨质疏松性骨折风险的“动态”密钥 | MDPI Rheumato

5; 加密货币投资：咨询来源、投资者信心与风险感知在塑造投资行为与意向中的作用 | MDPI JRFM

6; 从胎盘失衡到心血管风险：重新认识子痫前期 | MDPI Medical Sciences

7; PPFIA4基因中的SNP rs3737883与房颤风险相关：一项中国人群病例对照研究

8; 睡眠障碍与卒中的双向关联：从风险机制到临床管理 | MDPI Medical Sciences

1; 西部冰冻圈加速“退化”：冰川消融敲响高山安全警钟

2; 第六届全国农业科技发展战略智库联盟大会在兰州召开

3; 2026年诺奖即将揭晓，权威专家为您全面解读！

8; 没有论文也能博士毕业，他成为全国医学领域第一人

名家博士论文163：诺贝尔奖获得者彼得·杜赫提博士论文1970年爱丁堡大

我的名校情结和名校经历

更多>>