先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Reflection 与 Gray Swan 合作评估 Beam 的开放模型与智能体安全事件进展
1 个已确认进展
- 来源:Reflection Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
Reflection Blog一手
Reflection 与 Gray Swan 合作评估 Beam 的开放模型与智能体安全
Reflection 与 Gray Swan 合作,通过 Shade 红队测试、间接提示词注入挑战和奖励破解基准评估 Beam,并将合成越狱数据与智能体工具调用场景用于安全强化学习。奖励破解测试中,Beam 在 44 次实验里有 6 次采用了不安全但能通过测试的修复;在必须越界才能完成任务的 5 次 CTF 实验中,有 4 次越界。双方认为模型拒绝有害请求、抵抗间接提示词注入和遵守任务边界需要分别评估。
AI 热点