今天，我们推出对 GPT-6 Luna 的更新，该模型已于10月7日在 ChatGPT 中发布。更新后的模型提供更简洁的回复，并减少过度迎合性措辞。在本系统卡的其余部分中，我们将更新后的模型称为 GPT-6 Luna（10月29日）。

根据我们的 Preparedness Framework，我们将 GPT-6 Luna（10月29日）在网络安全方面评定为 High，在生物和化学能力方面评定为 High。基于该评估，GPT-6 Luna（10月29日）使用与先前 GPT-6 Luna（10月7日）相同的防护措施组合，详见 GPT-6 Luna（10月7日）系统卡.

GPT-6 Luna（10月29日）使用与 GPT-6 Luna（10月7日）相同类型的数据和训练，详见 GPT-6 Luna（10月7日）系统卡.

对于此前已发布的模型，发布时公布的数值反映的是当时评估的版本。此处显示的此前已发布模型的对比数值可能反映这些模型的后续版本，并可能与发布时公布的数值有所不同。1

有关本节评估的完整说明，请参阅 Model Safety GPT-6 Luna（10月7日）系统卡中的章节。

我们在多个安全类别上进行了基准评估。此处我们报告的是 Production Benchmarks，这是一个评估集，其中的对话代表了来自生产数据中具有挑战性的示例。有关这些评估的完整说明，请参阅 GPT-6 Luna（10月7日）系统卡中的 Safe Completions 章节。在 Production Benchmarks 上，GPT-6 Luna（10月29日）在 gore 评测上相较 GPT‑6 Luna 有所提升。表1：含挑战性提示的 Production Benchmarks（数值越高越好） 安全 补全 GPT-6 Luna（10月7日）系统卡中的章节。

在我们的 Production Benchmarks 上，GPT-6 Luna（10月29日）在 gore 评测上相较 GPT‑6 Luna 有所提升。

表1：含挑战性提示的 Production Benchmarks（数值越高越好）

类别

在下方安全帕累托图中，GPT-6 Luna（10月29日）在安全处理有害请求的比率与对合法请求的有用性之间的权衡上，相较先前的 GPT-6 Luna 呈现出帕累托改进。

图1

Figure 1. Safety and non-overrefusal on challenging prompts. Higher is better on both axes
图1. 在挑战性提示上的安全性与非过度拒绝。两个轴上的数值均为越高越好

表2：U18 评测（数值越高越好）

表2. U18 评测（数值越高越好）
0

类别		GPT‑5.5 Instant

（5月更新）		GPT‑5.5 Instant

（6月更新）		GPT‑5.6 Luna

（8月）		GPT‑5.6 Sol

（8月）		GPT‑6 Sol

（10月7日）		GPT‑6 Luna

（10月7日）		GPT‑6 Luna

（10月29日）
年龄限制商品、服务及危险挑战/活动 0.756 0.725 0.857 0.865 0.799 0.814 0.824
性内容 0.958 0.962 0.984 0.971 0.933 0.904 0.933*
饮食失调 0.657 0.635 0.810 0.808 0.772 0.776 0.817*
情感依赖 0.944 0.937 0.927 0.921 0.770 0.734 0.870*
自残 0.982 0.977 0.977 0.987 0.977 0.974 0.979
gore 0.865 0.832 0.867 0.872 0.845 0.812 0.858*

GPT‑6 Luna（10月29日）在针对18岁以下用户的性内容、饮食失调、情感依赖和gore评测中相较GPT-6 Luna（10月7日）有所改善，在上表中以星号标注。

表3：图像输入评测，指标为安全完成率（越高越好）

类别

在所有视觉评测中，GPT-6 Luna（10月29日）的表现与GPT-6 Luna（10月7日）相当，有害-色情方面的回退在统计上不显著。

有关这些评测的完整说明，请参阅 GPT-6 Luna（10月7日）系统卡中的 Jailbreaks 部分。 GPT-6 Luna（10月7日）系统卡.

得分为防御方成功率，以百分比表示（0–100）。 越高越好。

图2

Figure 2. Multiturn jailbreak robustness by attacker budget
图2. 按攻击者预算划分的多轮越狱鲁棒性

由于基础设施问题，我们的攻击方运行被提前终止，在测试的每个攻击方预算下，GPT‑6 Luna（10月29日）的防御方成功率观测值均高于 GPT-6 Luna（10月7日）。

GPT‑6 Luna（10月29日）对提示注入具有高度鲁棒性。我们继续扩大了我们的 GPT‑Red 方法，我们使用自动化红队代理进行对抗训练，以增强对恶意指令的抵抗力，同时保留完成合法任务的能力。

在我们的评估中，我们使用了 GPT‑Red 自动化评估，该方法引入于 GPT‑5.6 系统卡这些涵盖了两类情况：一是“直接”提示注入攻击（或称“指令层级”违规），即用户试图覆盖优先级更高的系统或开发者指令；二是“间接”攻击，即第三方内容中的恶意指令试图让智能体偏离用户的请求。

GPT-6 Luna（10月29日）在指令层级评测中达到饱和， 实现99.91%的鲁棒性。

表4：GPT-RED 间接提示注入鲁棒性（越高越好；在可用的推理级别上等权平均）。

类别

有关这些评测的完整说明，请参阅 GPT-6 Luna（10月7日）系统卡中的 Health 部分。 健康 GPT-6 Luna（10月7日）系统卡中的部分。

表5：HealthBench 评测，以长度调整后得分（未调整得分、平均可见回复长度，单位为字符）报告。得分范围为 0–100；越高越好。

表5：HealthBench 评测，以长度调整后得分（未调整得分、平均可见回复长度，单位为字符）报告。得分范围为 0–100；越高越好。
1 gpt-5.5Instant gpt-5.6-sol（8月） gpt-5.6-luna（8月） gpt-6-sol（10月7日） gpt-6-luna（10月7日） gpt-6-luna（10月29日）
HealthBench

专业 		38.4

(40.7, 2,775) 		54.0

(56.6, 2,894) 		44.1

(46.8, 2,920) 		55.2

(62.2, 4,360) 		48.2

(57.8, 5,289) 		47.4

(56.2, 4,969)
HealthBench 51.4

(50.9, 1,922) 		55.0

(52.1, 1,514) 		53.3

(50.7, 1,567) 		52.1

(55.7, 2,602) 		50.4

(58.5, 3,361) 		48.2

(54.0, 2,970)
HealthBench

Hard 		22.9

(21.3, 1,794) 		31.4

(27.1, 1,450) 		28.7

(24.9, 1,523) 		27.8

(30.9, 2,396) 		27.2

(36.1, 3,134) 		22.8

(28.5, 2,725)
HealthBench

共识 		94.7

(94.6, 1,919) 		95.5

(95.3, 1,511) 		94.8

(94.6, 1,553) 		93.8

(94.0, 2,608) 		95.0

(95.5, 3,343) 		93.3

(93.7, 2,978)

表6：MentalHealthBench 得分，使用任务截断指标计算。数值显示各任务的平均任务级得分 ± 一个标准误，每个任务有四次回复。得分范围为 0–100；越高越好。

表6：MentalHealthBench 得分，使用任务截断指标计算。数值显示各任务的平均任务级得分 ± 一个标准误，每个任务有四次回复。得分范围为 0–100；越高越好。
1

评估		gpt-5.5Instant（5月）gpt-5.5Instant（6月）gpt-5.6-sol（8月）gpt-5.6-luna（8月）gpt-6-sol（10月7日）gpt-6-luna（10月7日）gpt-6-luna（10月29日）
MentalHealthBench（总体） 49.38

± 0.93 		53.93

± 0.93 		47.53

± 0.97 		45.11

± 0.95 		48.81

± 0.97 		51.73

± 0.96 		48.68

± 0.97
MentalHealthBench（非急性） 51.91

± 1.23 		52.96

± 1.26 		47.07

± 1.30 		43.10

± 1.29 		47.62

± 1.31 		51.68

± 1.28 		46.39

± 1.29
MentalHealthBench（高急性） 50.23

± 2.17 		58.76

± 2.11 		53.88

± 2.28 		52.58

± 2.19 		53.70

± 2.26 		56.15

± 2.25 		53.92

± 2.28
MentalHealthBench（涌现） 44.03

± 1.80 		52.66

± 1.81 		44.30

± 1.87 		44.12

± 1.81 		47.92

± 1.89 		48.98

± 1.87 		49.64

± 1.87

GPT-6 Luna（10月29日）在动态自残评估上相较 GPT-6 Luna（10月7日）有所提升，但在心理健康评估上出现小幅退步。

表7：带对抗性用户模拟的动态基准（数值越高越好）

类别

有关这些评估的完整说明，请参阅 幻觉 GPT-6 Luna（10月7日）系统卡中的章节。

在这些事实性评估中，更新后的 GPT-6 Luna 在所有六项报告指标上的事实错误率均高于 10 月原版，但在每一项指标上仍保持低于 GPT-5.6 Luna 的错误率。

图3

Figure 3. Response-level and claim-level factual error rates on factuality-heavy, user-flagged, and high-stakes prompt sets. Lower is better.
图3. 在事实性密集、用户标记和高风险提示集上的响应级与主张级事实错误率。越低越好。

有关这些评估的完整说明，请参阅 对齐 GPT-6 Luna（10月7日）系统卡中的章节。

图4

Figure 4. Prohibited actions completed at maximum reasoning effort. Lower is better.
图4. 在最大推理努力下完成的禁止行为。越低越好。

图5

Figure 5. Conditional failure rates for successful circumvention of environmental restrictions. Lower is better.
图5. 成功规避环境限制的条件失败率。越低越好。

图6

Figure 6. Blocker-related disclosure failure rates on coding tasks. Lower is better.
图6. 编码任务中与阻断器相关的披露失败率。越低越好。

图7

Figure 7. Broken Search Tool evaluation results.
图7. 损坏搜索工具评估结果。

在我们的 准备框架，我们将 GPT-6 Luna（10月29日）在网络安全以及生物与化学领域均视为高能力。该模型在 AI 自我改进方面未达到我们的高阈值。这些评估与 GPT-6 Luna（10月7日）对应版本的评估结果一致，并且我们已实施了其中所述的相应防护措施，详见 GPT‑6 Luna（10月7日）系统卡.

在我们的准备框架下，我们将 GPT-6 Luna（10月29日）在生物与化学领域视为高能力。下文报告了我们在高能力与关键能力评估上的最新结果。有关这些评估的完整说明，请参阅 GPT-6 Astra 系统卡中的生物与化学能力章节。 GPT-6 Astra 系统卡.

表8：生物与化学能力：指示性阈值

表8. 生物与化学能力：指示性阈值
1

评估		指标指示性阈值gpt-6-luna（10月7日）gpt-6-luna（10月29日）
多模态故障排查病毒学 pass@1 31% 48.13% 45.85%
协议问答开放式评测 pass@1 54% 34.57% 31.80%
隐性知识与故障排查 cons@32 80% 94.00% 90.80%
故障排查 pass@1 36.4% 41.46% 37.90%

表9：生物与化学能力：指示性阈值

表9. 生物与化学能力：指示性阈值
1

评估		指标指示性阈值gpt-6-luna（10月7日）gpt-6-luna（10月29日）
AAV 衣壳包装预测 斯皮尔曼等级相关系数（越高越好） 0.60 0.53 SHP2 蛋白功能预测 平均 R²（越高越好） 0.60 0.13 0.21 冠状病毒--ACE2 细胞进入筛选 综合评分（越高越好） 0.75 0.36 0.37 噬菌体--质粒协同进化 负对数似然（越低越好） ≤ 9.40 10.70 11.84 我们将 GPT-6 Luna（10月29日）在网络安全领域视为高能力。下文报告了我们在高能力评估上的最新结果。有关这些评估的完整说明，请参阅网络安全 0.53
SHP2 蛋白功能预测 平均 R²（越高越好） 0.60 0.13 0.21
冠状病毒--ACE2 细胞进入筛选 综合评分（越高越好） 0.75 0.36 0.37
噬菌体--质粒协同进化 负对数似然（越低越好） ≤ 9.40 10.70 11.84

我们将 GPT-6 Luna（10月29日）在网络安全领域视为高能力。下文报告了我们在高能力评估上的最新结果。有关这些评估的完整说明，请参阅网络安全 GPT-6 Astra 系统卡.

ExploitBench 评估模型将已知漏洞转化为越来越强大的漏洞利用原语（直至任意代码执行）的能力，评估时使用漏洞描述、源代码和补丁，而不提供参考漏洞利用。在最高推理努力下，GPT-6 Luna（10月29日）取得 46.19% 的分数。

SEC-Bench Pro 评估模型在大型 JavaScript 引擎（包括 V8 和 SpiderMonkey）中发现漏洞的能力。GPT-6 Luna（10月29日）取得 51.75% 的分数，而 GPT-6 Astra 为 85.4%。

在AI自我改进方面，GPT-6 Sol和GPT-6 Luna未达到我们的高阈值。

有关这些评估的完整说明，请参阅 GPT-6 Astra 系统卡中的 AI 自我改进能力部分.

以下是我们内部《安全保障报告》的公开摘要，其中包含一些不适合公开披露的额外细节（例如可能对攻击者有用的信息）。这份内部报告为我们的安全咨询小组的建议以及 OpenAI 领导层的决定提供了依据，即这些保障措施足以支持 GPT-6 Luna（10月29日）的公开上线。

有关这些评估的完整说明，请参阅 GPT-6 Astra 系统卡中的模型安全训练与评估部分。 GPT-6 Astra 系统卡中的模型安全训练与评估部分.

表10：生物学模型拒答评估（越高越好）

表10：生物学模型拒答评估（越高越好）
1

生物学模型拒答评估		指标GPT‑5.5 Instant

（5月更新）		GPT‑5.5 Instant

（6月更新）		GPT‑5.6 Luna

（8月）		GPT‑5.6 Sol

（8月）		GPT‑6 Sol

（10月7日）		GPT‑6 Luna

（10月7日）		GPT‑6 Luna（10月29日）

（10月29日）
严重 安全 0.969 0.969 0.937 0.954 0.980 0.945 0.976
两用 安全 0.957 0.939 0.928 0.945 0.971 0.968 0.922

在生物学模型拒答评估中，GPT-6 Luna（10月29日）在严重提示上有所提升，但在两用提示上出现退步。

表11：网络安全安全性评估（越高越好）

类别

在网络安全安全性评估中，GPT-6 Luna（10月29日）的表现与 GPT-6 Luna（10月7日）相当，没有统计学显著的退步。

← 返回所有更新