AI News

热点事件

OpenAI用自动红队训练提升GPT-6 Astra越狱鲁棒性

1 篇正式报道1 条事件动态更新于 11月12日 08:00

先了解这件事

AI 综述

2026年11月12日,OpenAI在Alignment研究博客中介绍,其用自动化红队生成的合成越狱数据做强化学习训练,使GPT-6 Astra和Sol在高风险领域更能抵御越狱。在针对GPT-5.4和5.5的固定越狱数据集上,GPT-6 Astra在网络安全类问题上的安全回答比例为91.5%,GPT-5.6 Sol为59%;在自适应多轮攻击评测中,GPT-6 Astra在各攻击预算下均比GPT-5.6 Sol更稳健。OpenAI称GPT-6 Astra未更频繁拒绝良性任务,在安全与有用性之间取得帕累托改进。目前该工作以研究博客形式发布,尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

OpenAI 用自动化红队提升 LLM 安全中的模糊鲁棒性

事件进展

1 个已确认进展

  1. OpenAI用自动红队训练提升GPT-6 Astra越狱鲁棒性

    来源:OpenAI:Alignment 研究博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月12日

  1. OpenAI:Alignment 研究博客一手

    OpenAI 用自动化红队提升 LLM 安全中的模糊鲁棒性

    OpenAI 在 Alignment 研究博客中介绍,用自动化红队生成的合成越狱数据做强化学习训练,使 GPT-6 Astra 和 Sol 在高风险领域更能抵御越狱。在针对 GPT-5.4 和 5.5 的固定越狱数据集上,GPT-6 Astra 在网络安全类问题上安全回答比例为 91.5%,GPT-5.6 Sol 为 59%;在自适应多轮攻击评测中,GPT-6 Astra 在各攻击预算下均比 GPT-5.6 Sol 更稳健。OpenAI 称 GPT-6 Astra 未更频繁拒绝良性任务,在安全与有用性之间取得帕累托改进。

关联事件

  1. 相关事件Anthropic公开Claude设计的211个蝎毒神经毒素结合蛋白
  2. 相关事件Anthropic称在降低Claude蒸馏攻击有效性上取得进展
  3. 相关事件OpenAI 介绍基于生产流量的对齐评估流水线
  4. 相关事件OpenAI研究语言模型中的metagaming潜变量