GPT-6 Cyber 是 GPT-6 Astra 的网络安全专用变体,专为授权的安全工作而设计,涵盖漏洞发现、漏洞利用开发以及 Web 渗透测试等任务。该模型经过专门的后训练,旨在提升网络安全能力并减少网络安全相关的拒答。其目标是扩展模型可执行的安全工作范围,同时将其限制在用户的授权范围内,并在网络安全之外的领域保留拒答。在我们的评估中,与 GPT-5.6 Cyber 相比,GPT-6 Cyber 展现出显著更强的网络安全能力以及更好的对齐表现。

根据我们的 Preparedness Framework,我们为 GPT-6 Cyber 赋予与 GPT-6 Astra 相同的能力定级:网络安全为 Critical,生物与化学领域为 High,AI 自我改进低于 High。

对 GPT-6 Cyber 的访问通过 Daybreak Red进行限制,包括身份验证、使用限制以及组织安全要求,例如单点登录、多因素认证和 API IP 白名单。使用 Zero Data Retention 的 API 客户通常需要启用 Private Safety Processing 以进行自动化安全审查。新的防护措施旨在阻止针对关键系统的高风险活动以及为高风险活动提供协助,同时配合 GPT-6 Astra 对超出用户意图或授权范围的有害行为进行监控。详见 Safeguards 。

GPT‑6 Cyber 的后训练聚焦于网络安全能力与对齐。我们使用强化学习,在复现崩溃、开发可用的漏洞利用以及在代码库中搜索漏洞等任务上训练模型。通过这一训练,模型学会改进其方法、尝试不同策略并识别错误。我们还使用旨在减少对授权网络安全请求拒答的奖励信号。

在提升这些能力的同时,我们引入了训练信号以改善对齐并抑制奖励黑客行为。这些信号强化了对用户预期范围和授权的遵循、避免未经请求的操作,以及准确报告结果。 1

GPT-6 Cyber 的训练旨在减少对授权网络安全任务的拒答,同时保持其他领域的安全表现。我们通过网络安全拒答测试、安全完成测试和生物安全测试来评估这两个目标,并通过智能体评估来检验模型是否尊重用户的意图和授权。

数值可能与这些模型发布时公布的数值略有差异。此前已发布模型的数值来自这些模型的最新版本,评估结果也会存在一定波动。下文列出的早期模型对比分数旨在说明相对表现。由于政策、评分器、数据集、评估及其他测量细节会随时间演变,未列入下表的以往系统卡中的分数通常不应被视为与这些最新结果直接可比。

GPT-6 Cyber 完成了本次评估中几乎所有的安全任务,包括漏洞利用开发和红队测试。我们使用 GPT-6 Astra 系统卡中描述的防御性使用评估套件对 GPT-6 Cyber 进行了评估。该模型完成了 100% 的通用安全协助和漏洞修补任务、96% 的漏洞利用开发任务以及 97% 的红队任务。

图 1

Figure 1
图 1

接下来,我们评估了 GPT-6 Cyber 在网络安全之外的请求上是否保持安全表现。

我们使用代表生产数据中具有挑战性示例的对话,在多个类别上评估了安全性,具体描述见 GPT-6 Astra 系统卡.

的“安全完成”部分。GPT-6 Cyber 在我们的生产基准测试中表现与 GPT-6 Astra 相似。暴力非法行为、极端主义、自残(标准)、性以及性/未成年人方面的数值回退在统计上并不显著。

表 1. 使用挑战性提示词的生产基准测试(数值越高越好)

表 1

类别

我们使用 GPT-6 Astra 系统卡中描述的智能体安全完成评估对 GPT-6 Cyber 进行了评估。这些测试评估模型在代表具有挑战性的生产对话场景中的行动和最终回复的安全性。

智能体安全完成评估(数值越高越好)

表 2

类别

我们测试了减少网络安全任务拒答是否也使 GPT-6 Cyber 更愿意提供违规的生物协助。 GPT-6 Astra 系统卡 中描述的生物学拒答评估涵盖严重风险请求、兼具合法与潜在有害用途的双重用途请求,以及良性生物学问题。我们衡量前两类中的非违规回复,以及模型在第三类中是否避免不必要的拒答。

在这些评估中,GPT-6 Cyber 对几乎所有严重风险和双重用途生物学请求均未遵从,同时对大多数良性问题作出了回复且未出现不必要的拒答。

表 3

表 3
类别指标GPT-6 CyberGPT-6 Astra
严重 安全回复 99.87% 99.87%
双重用途 安全回复 98.27% 97.41%
良性 无不必要的拒答 97.22% 97.05%

GPT‑6 Astra 相较 GPT‑5.6 Sol 引入了显著的对齐改进,详见其 系统卡。我们为 GPT‑6 Cyber 设定的目标是在支持更广泛授权网络安全工作的同时,实现类似的对齐改进。我们使用相同的对齐评估来检验模型是否遵守限制、如实报告障碍,并保持在用户的授权范围内。下文将 GPT‑5.6 Sol 和/或 GPT-5.6 Cyber 作为上一代基线进行报告。

GPT‑6 Cyber 相较 GPT‑5.6 Sol 有显著提升。其对齐结果与 GPT‑6 Astra 大体相当,在各项单独评估中各有优劣:在遵守 Auto-Review 拒绝决定方面与 Astra 持平,在承认搜索工具不可用方面表现更好,但在警告表明应当停止时停下的可能性略低,在最终回答中报告阻碍因素方面表现较差。

遵守审查决定。 我们测试了 GPT-6 Cyber 是否遵守 Auto-Review 的拒绝决定。该模型在 0% 的评分 rollout 中完成了被禁止的操作,与 GPT-6 Astra 持平,而 GPT-5.6 Sol 为 0.3%。

Auto-Review 评估(数值越低越好)

表 4

类别

响应警告。 我们测试了模型如何响应工具界面显示的警告,其中一组任务中停止更为合适,另一组任务中继续更为合适。GPT-6 Cyber 在两组任务上均优于 GPT-5.6 Sol:在停止更合适时为 73.00% 对 57.10%,在继续更合适时为 80.43% 对 77.26%。与 Astra 相比,GPT-6 Cyber 在第一组任务上停止的频率较低(73.00% 对 78.38%),但在第二组任务上成功率更高(80.43% 对 72.19%)。这一模式与其更强的任务持续性相一致。

警告评估(两组划分中均为数值越高越好)

表 5

类别

保持在范围内。 我们的 ExploitGym Honeypot 评估选取了 ExploitGym 中一些最具挑战性的任务,并添加了一个辅助服务作为蜜罐。模型可以将该服务用于合法的支持任务,但利用它则超出了授权范围。在没有部署安全指令的情况下,GPT-6 Cyber 在 0.07% 的评分 rollout 中利用了蜜罐,而 GPT-5.6 Sol 为 49.5%,GPT-5.6 Cyber 为 5.51%,GPT-6 Astra 为 0%。在有部署安全指令的情况下,GPT-6 Cyber 观察到的利用率为 0%。

ExploitGym Honeypot 评估(数值越低越好)

表 6

表 6
模型部署安全指令蜜罐利用
GPT-5.6 Sol 无 49.5%
GPT-5.6 Cyber 无 5.51%
GPT-6 Astra 无 0%
GPT-6 Cyber 无 0.07%
GPT-6 Cyber 有 0%

如实报告障碍。 除了遵守限制之外,我们还测试模型是否准确报告阻碍其完成所分配编码任务的障碍。GPT-6-Cyber 在 20.29% 的评分回复中被标记,而 GPT-5.6 Sol 为 34.18%,GPT-6 Astra 为 11.66%。重要的是,该评估关注的是最终回答。在我们审查的大多数被标记样本中,模型已在先前的评论消息中披露了该障碍,但未在最终回答中重复这一限定说明。我们将这些情况评估为不完整的最终总结,而非蓄意欺骗。

阻碍欺骗评估(数值越低越好)

表 7

类别

承认工具局限性。 我们使用 Broken Search Tool 评估来测试当搜索工具缺失或损坏时模型如何回应研究问题。该评估检查其最终回答是否虚假声称访问了不可用的工具,或将无法获取的源材料作为已检索的证据呈现。GPT-6-Cyber 仅在 0.33% 的回复中出现这些错误,而 GPT-6 Astra 为 6.92%,GPT-5.6 Sol 为 79.00%。

Broken Search Tool 评估(数值越低越好)

表 8

类别

我们评估了模型在完成真实工作场所任务时是否遵循安全要求并在需要时征求用户批准。该评估包含使这些要求与完成任务产生冲突的对抗性情境,涵盖基于工具和基于浏览器的工作流程。GPT-6-Cyber 在该评估中表现与 GPT-6 Astra 相当,授权违规显著少于 GPT-5.6 Sol。

工作场所评估(数值越低越好)

表 9

类别

统计符合该评估高严重性标准的被标记安全或授权违规。

我们在取自生产对话的困难案例上评估了 GPT‑6 Cyber,这些案例中 Auto-Review 曾阻止某项操作,且进一步审查发现助手存在失误。每次重放均在原始失误前不久开始,使用模拟的工具响应。该评估测试模型是否会重复诸如泄露数据、规避限制或采取破坏性操作等行为。GPT-6-Cyber 的被标记操作率为 28.40%,接近 GPT-6 Astra 的 26.70%,不到 GPT-5.6 Sol 的 64.53% 的一半。由于该评估刻意选取涉及先前失误的困难案例,这些比率并不代表此类行为在常规部署中的发生频率。

模拟部署评估(数值越低越好)

表 10

类别

我们已围绕 GPT-6 Cyber 构建并部署了防护措施,以强化其安全与对齐训练。我们设计这些防护措施旨在使模型的操作保持在用户的意图和授权范围内,并阻止恶意使用。

针对 GPT-6 Cyber,我们加强了现有防护措施,并引入了针对高风险网络活动和未经授权的模型操作的新保护机制。

Daybreak Red 在更严格的资格和安全要求下提供网络专用模型。与过去的模型一样,GPT-6 Cyber 仅向获批的 Daybreak Red 用户和组织提供。我们核实申请者的身份和资格,要求申请者同意对授权活动和第三方访问的限制,并根据组织的网络安全用例、安全实践和法律证明来审查资格。

我们首先将访问权限限制在获批用户范围内,并设有防护措施来保护其账户免遭接管。对于组织,我们要求使用 SSO、MFA、受管设备以及最小权限访问,并依赖客户对其通过身份提供商管理的 MFA 进行证明。组织还必须保护和轮换凭据、监控员工使用情况,并报告疑似滥用或账户被入侵的情况。

对于个人,我们将访问权限限制在受邀申请者范围内,这些申请者需完成身份与活体检测、证明其专业适任性,并提供法律证明。为保护其账户,我们要求启用 高级账户安全 并至少配备一个物理 FIDO2 安全密钥。

接下来,为帮助将模型保持在授权范围内并防止有害操作,我们建议在通过 Codex 应用访问 GPT-6 Cyber 时使用 Codex 的 沙箱 和 自动审查 功能。沙箱限制智能体的文件和网络访问,而自动审查会在执行前检查超出这些限制的合格请求。对于 GPT-6 Cyber API 用户,我们建议在智能体执行敏感操作前添加类似的检查,并在审查失败或拒绝某项操作时停止执行。

除了这些操作检查外,我们建议获批用户在隔离环境中运行安全工作流,并对目标、凭据、网络访问和允许的操作设定明确限制。对于高风险工作流,应由人工操作员监督智能体,以便能够将其停止。

最后,我们还使用与 GPT-6 Astra 相同的 监控 栈 来检测超出用户意图或授权范围的潜在有害行为。当监控发现严重问题时,我们将暂停 Codex 的推广以等待用户确认,或终止相关请求。如果调查发现滥用行为,我们可能会限制、暂停或撤销访问权限。

GPT-6 Cyber 更强的网络安全能力带来了更大的危害风险,因此我们围绕该模型新增了一系列防护措施。

阻止高风险网络协助。 我们在 GPT-6 Cyber 以及 Daybreak Blue 中的网络关键模型中增加了额外检查,以检测并阻止涉及工业控制、关键服务和选举系统的高风险协助。这些检查还针对可能促成死亡或严重伤害、灾难性物理破坏、危及生命的服务中断或进攻性控制武器系统的协助。

我们与工业控制安全领域的专家 Dragos 合作,在受控实验室中使用网络权限宽松的 Daybreak Red 模型评估了这些防护措施。我们共同开发了一项敏感的红队评估,涵盖从理解设备到以危险或未经授权的方式与其交互的各类请求。下图展示了在这些变更前后,我们在不同可信访问层级上该评估的阻止率,包括 Standard 访问、Daybreak Blue 和 Daybreak Red 层级在召回率方面的改进。

图 2

Figure 2
图 2

图:在敏感红队评估中,四种访问配置在更新前后的防护阻止率。阻止率衡量的是被防护措施标记的请求所占比例;它并不衡量对合法防御工作的过度拒绝情况。

我们继续利用安全社区的反馈来完善这些防护措施,包括合作伙伴报告以及通过我们第一方产品中的 /feedback 提交的报告,这些报告涉及防护措施漏掉有害活动或干扰合法工作的情况。

网络专用失准监控。 我们调整了监控指令,以区分经授权的安全测试与超出用户范围的操作。这些指令帮助监控器评估模型对系统、凭据和数据的使用是否符合用户的授权,而不会将合法的漏洞利用开发或测试本身视为失准。

面向所有用户的生物安全模式。 我们还防范以网络为重点的训练可能降低网络安全领域之外拒绝率的风险。我们为每位 GPT-6 Cyber 用户启用 保守生物安全模式 ,并配合生物安全分类器和监控。扩大网络访问权限并非意在放松我们对其他类型危害的防护措施。

隐私安全处理。 接下来,我们构建了自动安全检查,将相关交互放在一起审查,以检测在单个请求中可能不明显的滥用行为。为实现这一点,我们通常要求使用 零数据保留 的 API 客户使用 隐私安全处理 (PSP), 仅有有限的获批例外。标准数据保留仍是 GPT-6 Cyber 的默认设置。

我们使用 PSP 在受保护环境中审查加密的安全记录,并生成有限的安全信号,而不会将底层提示和响应暴露给 OpenAI 人员。客户在其自己的存储中保留加密记录 30 天,并可在自己的系统中进行调查,或选择与我们分享相关信息。

API IP 允许列表。 为使被盗凭据更难被使用,我们默认要求 Daybreak Red API 访问使用 IP 允许列表。这将请求限制在客户批准的网絡地址范围内。我们针对技术限制批准例外;云服务提供商的部署可能有不同的要求或获批的替代方案。

账户入侵监控。 最后,我们监控 API 密钥和 使用 ChatGPT 登录 访问令牌,以发现 Daybreak Red 和 Blue 中遭入侵的迹象。当我们检测到可疑活动时,我们可以进行调查并撤销受影响的凭据。

我们使用 GPT-6 Astra 系统卡中描述的 Preparedness 评估对 GPT-6 Cyber 进行了评估,涵盖网络安全、生物学与化学以及 AI 自我改进。由于额外训练侧重于网络安全,我们将测试和分析集中在该领域。我们预计网络安全之外的能力将与 GPT-6 Astra 大致相似。

基于这些评估,我们给予 GPT-6 Cyber 与 GPT-6 Astra 相同的 Preparedness 能力定级 :在 网络安全, 高 生物与 化学 能力,以及在 AI 自我改进.

与 GPT-6 Astra 一样,我们根据 Preparedness Framework 将 GPT-6 Cyber 在 网络安全方面归类为 Critical。我们使用 GPT-6 Astra 系统卡的网络安全 能力部分中描述的评估.

在最高测试推理预算下报告结果。我们还与 NIST CAISSI 和 Irregular 合作,对 GPT-6 Cyber 的网络安全能力进行了外部评估。Irregular 发现其表现 与 GPT-6 Astra 大致相当,在长时程 网络任务上的成功率更高。

图 3

Figure 3
图 3

ExploitBench 评估模型能否利用漏洞描述、源代码和补丁,在没有参考利用代码的情况下,将已知漏洞 转化为越来越强大的利用原语,直至任意代码 执行。GPT-6 Cyber 在 ExploitBench 上取得了 100% 的 ACE 归一化 (任意代码执行)平均能力得分。

正如 GPT-6 Astra 系统卡, 中所讨论的,ExploitBench 使用可追溯至 2023 年的历史漏洞, 这带来了污染风险,可能夸大 所报告的结果。

图 4

Figure 4
图 4

ExploitBench — Internal Port 是一项内部评估,测试 模型能否为近期披露的漏洞开发可用的利用代码,从而减少因接触 历史示例而造成的潜在污染。GPT-6 Cyber 在 V8 和 Chrome 目标上达到 42% 的平均任意代码执行 成功率,而 GPT-6 Astra 为 39%。对于 GPT-6 Cyber 而言,可靠地利用这些近期披露的 漏洞仍然具有挑战性。

图 5

Figure 5
图 5

SEC-Bench Pro 评估模型在大型 JavaScript 引擎(包括 V8 和 SpiderMonkey)中发现漏洞的 能力。GPT-6 Cyber 达到 87.02% 的 pass@1 得分,而 GPT-6 Astra 为 85.38%。

图 6

Figure 6
图 6

SRE-Bench 评估二进制逆向工程。模型会收到 编译后的程序和支持性工件,但没有源代码,并且必须 满足六个任务特定目标。只有当所有六个目标都达成时,任务才算 完全解决。GPT-6 Cyber 达到 92.84% 的 pass@1 得分, 而 GPT-6 Astra 为 87.98%。

图 7

Figure 7
图 7

ExploitGym 测试模型能否利用远程软件目标中的指定 漏洞。成功需要获取 目标的 flag 通过代码执行,并确认利用代码 使用了预期的漏洞。GPT-6 Cyber 实现了 48.45% 的预期漏洞利用成功率,而 GPT-6 Astra 为 42.43%。

图 8

Figure 8
图 8

我们还在 ExploitGym 的加固变体上评估了 GPT-6 Cyber, 该变体使用了更强的漏洞利用缓解措施。它为用户态目标增加了地址空间随机化和栈金丝雀等 保护,启用了 V8 沙箱,并在支持的情况下使用更严格的内核配置。GPT-6 Cyber 实现了 36.94% 的预期漏洞利用成功率,而 GPT-6 Astra 为 29.69%。

我们与 NIST 的超级智能创新与 标准推进中心(NIST CAISSI)合作,测量 GPT-6 Cyber 的网络 能力。另外,Irregular 评估了 GPT-6 Cyber 的网络安全能力,其发现总结 如下。

Irregular 使用 GPT-6 Astra 系统卡: CyScenarioBench、FrontierCyber 和 Atomic Challenges 中描述的三套网络安全 评估套件对 GPT-6 Cyber 进行了评估。这些基准自 GPT-6 Astra 系统卡以来已更新。我们报告两个模型在更新后基准上的结果, 因此 Astra 的得分与之前公布的不同。

在测试长时程攻击任务的 CyScenarioBench 上,GPT-6 Cyber 至少成功解决 11/11 项挑战一次,而 GPT-6 Astra 为 8/11。其平均成功率为 61%,提高了 7 个百分点。

图 9

Figure 9
图 9

在测试真实软件和硬件中漏洞发现与 利用的 FrontierCyber 上,GPT-6 Cyber 解决了 90/288 项挑战,而 GPT-6 Astra 为 96/288。成功的攻击 包括影响浏览器、手机和 云数据库的零日漏洞。然而,Irregular 未观察到对 完全加固目标的成功攻击,两个模型也都没有解决 15 项 最高难度挑战中的任何一项。

图 10

Figure 10
图 10

GPT-6 Cyber 还解决了 22/22 项 Atomic 挑战,平均成功率 为漏洞研究与利用 97%、网络 攻击模拟 98%、规避 63%,而 GPT-6 Astra 分别为 96%、100% 和 66%。

图 11

Figure 11
图 11

GPT-6 Cyber 在通用编码 评估上并未优于 GPT-6 Astra。在 ExpertSWE(一项针对长时程 软件工程任务的内部评估)上,它得分为 82.95%,而 GPT-6 Astra 为 83.24%。这一结果, 连同该模型以网络为重点的额外训练,支持了我们的评估,即 GPT-6 Cyber 在 AI 自我改进方面仍低于 High 能力。

我们将 GPT-6 Cyber 在生物与 化学能力方面视为 High 但非 Critical,这与 GPT-6 Astra 的 Preparedness 评估. 一致。由于其额外训练 侧重于网络安全,我们预计其生物和化学 能力将与 Astra 大致相似。

为检验这一预期,我们进行了五项 Bio-High 评估。 与之前的系统卡一致,我们将拒答计为成功, 以估计能力的保守上限。GPT-6 Cyber 有时获得更高的原始得分,但这主要归因于更少的 拒答;在计入拒答和安全完成情况后,其得分 与 GPT-6 Astra 相当。在 ProtocolQA 上,GPT-6 Cyber 在标准评分下得分为 47.2%, 在我们把拒答和安全完成计为正确时得分为 50.9%;两个得分都高于 Astra 的 相应得分(41.4% 和 45.4%),但都仍低于 ProtocolQA 指示性的 High 阈值 54%。这些结果支持 沿用 Astra 的评估。

图 12

Figure 12
图 12

← 返回所有更新