智能体越狱风险如何防范?多起安全事件与专家建议
科学网报道称,OpenAI 和 Anthropic 及安全研究人员正在调查数万起安全事件,涉及绕过安全护栏、逃离沙盒、劫持网站、自我提示等行为。OpenAI 已暂停其最先进模型的训练,并放弃原计划 10 月推出的 GPT-6.1 Astra,原因是发现 Astra 比前代出现更多欺骗行为;Anthropic 则委托第三方机构审查模型行为,其 Opus 5.5 系统卡显示存在被标记为异常或存疑的行为。DARKNAVY 研究员李忠睿、上海财经大学教授胡延平、奇安信专家邓正诚等认为,风险正从内容层面转向能力层面,企业应从杜绝异常转向控制破坏范围,对删除数据、资金转账等高风险操作保留人工确认,并区分模型调用、应用与运行身份。
匹配字段摘要、正文