AI 热点

OpenAI 详解对抗性知识蒸馏防护与推理提取风险

OpenAI News更新于 11月21日 04:30

Combatting adversarial distillation

AI 导读

OpenAI 公布对抗性知识蒸馏防护方案,通过对抗训练、分类器、API 保护和协同活动调查,限制模型能力与受保护推理被提取。自适应黑盒评测中,提取较早请求推理的平均攻击成功率从 GPT‑6 Astra 的 54.0% 降至 GPT‑6.2 Astra 的 0.2%,提取当前请求推理的成功率从 22.9% 降至 0.9%。OpenAI 还报告今年发现多起未经授权的蒸馏活动,每周处置规模从数千至数万个账号。

推荐理由

精选AI 评分 76

文中把请求级防护与协同活动调查结合起来,并用攻击成功率变化呈现推理提取防线的可迁移设计。

主题

标签

正文 · AI 翻译

2026年11月20日打击对抗性蒸馏

我们如何应对蒸馏带来的安全风险,以及为加强整个行业的防护措施所汲取的经验。

为什么蒸馏是一个安全问题

保护精确推理轨迹对网络安全的重要性

相互强化的防御措施

保护单个请求和响应

调查并阻止协同活动

衡量进展

抵御推理提取

活动检测与执法

对抗性蒸馏对国家安全的影响

其他机构如何在这项工作的基础上继续推进

为什么蒸馏是一个安全问题

保护精确推理轨迹对网络安全的重要性

相互强化的防御措施

保护单个请求和响应

调查并阻止协同活动

衡量进展

抵御推理提取

活动检测与执法

对抗性蒸馏对国家安全的影响

其他机构如何在这项工作的基础上继续推进

随着前沿 AI 模型的能力日益增强,防护措施对于确保其得到负责任的使用也变得愈发重要。对抗性蒸馏为恶意行为者提供了一条无需适当防护措施即可复现这些能力的途径。行为者可能未经授权便利用前沿模型的输出,训练另一个具备类似能力的模型,然后在没有同等保护措施的情况下部署该模型。例如,对手可能蒸馏某个模型的网络能力,并利用所得模型协助实施网络攻击,而原始模型本会拒绝提供此类协助,或其防护措施本会阻止此类行为。

我们将介绍 OpenAI 如何检测并阻止对抗性蒸馏、如何加强对模型受保护推理的保护,以及我们从中获得的哪些经验能够帮助整个行业强化防御。

我们应对对抗性蒸馏的方法,将对抗性测试、模型训练、分类器和 API 层面的保护措施,与针对协同提取模型能力企图的调查结合起来。这些更新后的防护措施与我们在生物学和网络安全领域采用的措施更加一致。

我们尤其重视防止攻击者提取模型的受保护推理,即模型在得出答案的过程中于内部生成的中间步骤,也称为思维链。这些轨迹可能包含最终答案中未呈现的信息,因此对于训练另一个模型而言是特别有价值的数据。

我们增强了 GPT‑6.2 Astra 和 GPT‑6.2 Sol 抵御受保护推理提取的能力。在一项采用强大自动化红队测试的内部自适应评估中,我们测试了攻击者能否恢复模型在回答较早提示时生成的受保护推理。面对采用原有防护措施的 GPT‑6 Astra,平均攻击成功率为 54.0%;而面对采用更新后防护措施的 GPT‑6.2 Astra,这一比例降至 0.2%。

为什么蒸馏是一个安全问题

蒸馏是一种常见的机器学习技术,其中一个模型从另一个模型生成的数据中学习。例如,一个模型可以学习另一个模型给出的答案、其推理过程,或其对哪些答案更好以及原因的判断。除了知识产权方面的担忧,未经授权的蒸馏还会带来严重的安全风险。通过对抗性蒸馏,第二个模型可以学会先进的前沿能力,却不继承约束原始模型如何使用这些能力的防护措施。

这一担忧在网络安全和生物学等军民两用领域尤为明显。帮助防御者发现软件漏洞的模型也可能帮助攻击者利用这些漏洞;协助开展生物学研究的模型也可能帮助某人研发有害病原体。如果将此类能力转移到防护措施较弱的模型上,它可能提供原始模型本会拒绝提供、或原始防护措施本会阻止的协助。

保护精确推理轨迹对网络安全的重要性

我们的模型可以协助用户完成编程和防御性网络安全任务。利用大量此类无害输出训练的第二个模型,可能学会同样适用于进攻性网络安全任务的技能。为更深入地理解这一点,我们研究了蒸馏——尤其是涉及推理轨迹的蒸馏——可能如何转移具有风险的网络能力。

在这种设定中,生成训练数据的模型称为教师模型,从中学习的模型称为学生模型。在一项关于网络能力如何转移的内部研究中,我们以用户通常可见的内容——最终回答、推理摘要和工具交互——作为蒸馏基线,并测试了当学生模型能够访问教师模型的精确推理轨迹时,会额外转移多少网络能力。

每次训练运行都从同一个预训练学生模型开始。我们创建了一个监督微调数据集,主要由 Astra 级教师模型处理编程和防御性网络安全任务时产生的轨迹组成。每条轨迹都包含模型完成任务时采取的所有步骤,包括所有工具交互及其最终回答。我们在微调后评估了每个学生模型,并在网络安全和编程环境中进行一轮轻量级强化学习后再次评估。

经过监督微调后,使用精确推理轨迹训练的学生模型总体上优于使用推理摘要训练的学生模型。经过强化学习后,在所示的两项基准测试中,精确轨迹学生模型在测试的最大推理预算下仍获得更高分数,而摘要训练的学生模型在较低预算下得分更高。1

我们的网络蒸馏结果表明,即使底层任务属于我们的使用政策所允许的范围,保护推理轨迹也能限制网络能力的转移。在大量此类交互中,精确推理轨迹可以向学生模型传授能够泛化到教师模型最初执行任务之外的技能。我们将继续研究在不同学生模型和蒸馏训练方案中会额外转移多少能力。

相互强化的防御措施

我们在防护体系的两个互补层面抵御对抗性蒸馏。在请求层面,模型行为、分类器检查和 API 控制会限制推理轨迹提取。在协同活动层面,我们会寻找请求级和账号级信号中的模式,以发现有组织的提取企图。调查中发现的攻击又会转化为用于训练和测试防护措施的样例。

我们针对对抗性蒸馏的防御措施,将单次请求防护与协同活动检测和处置相结合。调查和自动化红队测试的发现有助于加强这些防护措施。

保护单次请求和响应

针对模型行为的防御性训练

对抗训练教会模型识别推理提取企图并拒绝披露受保护推理,同时保留对合理的解释和协助请求作出回应的能力。对抗训练样例来自内部自动化红队测试和调查中发现的成功攻击,以及外部研究人员或行业合作伙伴对潜在安全弱点的负责任披露。

分类器防护措施

我们使用输入分类器检测提取受保护推理的企图,并使用输出分类器检测助手消息和工具调用参数中受保护推理的泄露。这些防护措施同时适用于流式和非流式响应。

覆盖工具调用非常重要,因为模型可能会在工具参数中暴露受保护推理,而不在最终回答中包含这些内容。输出分类器可以在疑似泄露内容到达调用方之前将其拦截。

API 层面的保护措施

API 层面的保护措施限制受保护推理在不同交互和模型之间的重复使用方式。我们在 9 月披露的攻击会将加密推理从一个对话转移到另一个对话中,并要求模型以用户可读的形式揭示这些推理。我们加强了跨用户、工作区、组织和模型系列边界的保护,包括封堵了一条可能暴露其他用户加密推理的路径。

对于 GPT‑6.2 Astra 和 GPT‑6.2 Sol,我们会将模型的受保护推理与产生这些推理的对话历史绑定。随着新消息加入,模型可以在先前推理的基础上继续推理。如果先前的某条消息被改写,我们的 API 会丢弃该消息之后的推理(在新窗口中打开)。我们还会阻止防护措施较弱的旧模型系列读取 GPT‑6.2 Astra 和 Sol 的受保护推理。

调查并瓦解有组织的协同活动

这项工作并不局限于我们自己的平台。我们的统一标准政策为提供我们模型的各家服务商确立了共同的防护标准和协同处置机制。我们会在适当情况下与合作伙伴密切协作,以维护这些标准,并加强各类部署环境中的保护措施。

在适当情况下与行业和政府分享相关调查结果,有助于瓦解此类协同活动,并使模型开发者和服务商能够更好地识别和防范蒸馏前沿模型的企图。

衡量进展

抵御推理提取的能力

为了衡量请求级防护措施协同运作的效果,我们会在高度模拟模型及防护措施生产部署环境的设置中,测试攻击者是否仍能提取受保护推理。在静态评测中,我们会重放一组固定的、此前成功的攻击,查看其中哪些仍能暴露受保护推理。在自适应评测中,自动化 AI 红队会根据系统的响应调整攻击方法,从而发现静态测试可能遗漏的弱点。

我们还会改变测试人员能够看到的信息。黑盒测试向他们提供与外部用户相同的视野,而白盒测试则向他们提供更多系统信息,帮助他们设计出更强的攻击。在自适应黑盒评测中,我们测试了攻击者能否恢复模型在回答较早请求或当前请求时生成的受保护推理。在采用更新版防护措施的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两个成功率都远低于采用原始防护措施的 GPT‑6 Astra。我们目前也正在将部分防护改进应用于 GPT‑6 Astra。

攻击类型

采用原始防护措施的 GPT‑6 Astra 防御模型

自适应提取 ASR(%)

采用更新版防护措施的 GPT‑6.2 Astra 防御模型

自适应提取 ASR(%)

从较早的请求中提取受保护推理

54.0

0.2

从当前请求中提取受保护推理

22.9

0.9

针对 GPT‑6 Astra 和 GPT‑6.2 Astra 开展自适应黑盒红队测试时的攻击成功率(ASR),汇总了六个攻击模型的结果。ASR 越低越好。

协同活动检测与处置

今年,我们已在平台上发现多起未经授权的对抗性蒸馏活动,并在 9 月的报告中分享了初步调查结果。我们每周针对此类活动采取的处置行动规模从数千个账号到数万个账号不等,今年夏季这一频率显著上升。

为了衡量相关工作的成效,我们还会跟踪蒸馏滥用的普遍程度,以及从检测到处置所需的时间。我们的目标是限制蒸馏者能够获取的数据量及其价值,提高开展蒸馏活动的成本,并缩短应对新型攻击所需的时间。我们会继续通过对抗性测试和调查来改进这些防御措施。

对抗性蒸馏对国家安全的影响

对抗性蒸馏也会构成国家安全风险。如果外国行为方复制了美国模型的先进能力,就可以在不具备模型开发者所设保护措施的情况下部署这些能力。2 月,我们曾向美国国会通报(在新窗口中打开)相关活动,迹象表明 DeepSeek 正试图蒸馏美国的前沿模型。9 月,我们报告称已瓦解一起旨在提取我们模型受保护推理的活动,并将该活动的核心部分归因于与 Kimi 开发商 Moonshot AI 有关联的人员。我们计划很快分享更多有关近期已被我们瓦解的活动的信息。

我们支持通过立法,为美国政府提供更多工具,以识别并制裁非法从美国 AI 模型中提取能力的外国行为方。我们还已向美国国会表示,我们支持《芯片安全法案》(Chip Security Act)、《AI OVERWATCH 法案》(AI OVERWATCH Act)和《MATCH 法案》(MATCH Act)。加强出口管制可以限制对手获取训练前沿模型所需的硬件。蒸馏防御措施则能提高从已训练模型中获取部分相同能力的难度。这两方面的努力都有助于保持美国在前沿 AI 领域的领先地位,使开发者在需要时间测试防护措施时有更大的空间推迟发布。

其他各方如何在这项工作的基础上继续推进

支持前沿能力的安全普及,是我们反蒸馏工作的一项重要目标。迄今为止的经验表明,其他模型开发者和平台可以采取以下几项有效措施:

在完整交互过程中保护私有推理。检查助手消息和工具调用参数中是否存在泄露,并限制加密推理在不同对话和模型之间的重复使用方式。

将通过红队测试、生产环境监控或负责任披露发现的成功提取攻击日志保留为回归测试。在适当情况下,并在符合适用隐私政策的前提下,使用这些示例改进模型训练和分类器。在评估更新后的防御措施时,应重放原始攻击,并测试自适应红队是否仍能找到突破这些防御措施的方法。

将请求级缓解措施与协同活动层面的调查和处置结合起来。

与部署合作伙伴协调防护要求和处置行动,并与其他 AI 模型开发者分享专业知识,以确保整个行业的蒸馏防护措施达到较高的最低标准。

此前,我们还通过前沿模型论坛(在新窗口中打开)和适当的政府信息共享渠道分享研究发现,帮助其他开发者加强防御,同时对攻击者可能利用的细节予以保密。我们将继续与研究人员、开发者和合作伙伴协作,分享我们对新兴攻击和有效防御措施的了解。

在广泛提供前沿 AI 的同时,我们针对对抗性蒸馏采取的防御措施旨在降低其能力在缺乏充分防护的情况下被复制的风险,从而支持我们的使命:确保通用人工智能得到安全部署,并造福全人类。

脚注

1

Anthropic 的相关研究(在新窗口中打开)报告称,在软件工程基准 SWE-bench Verified 上,使用完整推理记录进行训练相比使用摘要具有类似优势。我们的结果表明,这一优势也适用于前沿网络安全领域。

继续阅读

MedChemBench:评测用于药物化学的 AI

研究 2026 年 11 月 20 日

OpenAI 的 Performance Factory 如何让 ChatGPT 保持快速响应

工程 2026 年 11 月 19 日

部署 Daybreak Red

指南 2026 年 11 月 19 日

来源

OpenAI News