GPT-Rosalind-6 是一款面向生物学、药物发现和转化医学的前沿推理模型。我们以 GPT-Rosalind-6 Research 的形式,向符合条件的科学家、研究机构、企业和政府合作伙伴提供该模型。Rosalind 在双用途生物学查询上的拒绝次数更少,但仅通过可信访问渠道提供。在授予访问权限之前,我们会审查申请者拟议的用途、安全控制和治理实践。我们同时也继续保留其他部署保障措施。

GPT-Rosalind-6 与我们的旗舰推理模型 GPT-6 Astra 使用相同的权重。它旨在支持合法的生物学研究,包括部分双用途主题,同时仍会拒绝生物武器化相关请求,并保留对其他安全主题的拒绝。

根据我们的 Preparedness Framework,我们将此次发布在生物与化学领域定为 High 能力,低于 Critical 阈值。其他 Preparedness 风险我们沿用 GPT-6 Astra 的能力评估,并将 GPT-Rosalind-6 在网络安全领域定为 Critical,在 AI 自我改进方面低于 High。

本附录描述了 GPT-Rosalind-6 的生物学能力评估、额外的安全与对齐评估以及部署保障措施。在可获得的情况下,我们纳入了 GPT-Rosalind-5.5 的结果以供比较。本附录应与 GPT-6 Astra 系统卡, 一并阅读,该文件描述了母模型的更广泛能力与安全评估。

GPT-Rosalind-6 与 GPT-6 Astra 使用相同的权重。我们未为此发布新增训练数据或进行额外的后训练。底层模型的数据与训练详情见 GPT-6 Astra 系统卡.1

我们在三项生命科学研究基准上评估了 GPT-Rosalind-6,并将其结果与 GPT-Rosalind-5.5 进行了比较。下文所列 GPT-Rosalind-5.5 的分数使用与 GPT-Rosalind-6 相同的基准版本和题目集,因此与其发布时报告的分数有所不同。第 4 节中的 Preparedness 评估考察与严重伤害风险相关的能力。我们先对每道题内的回答分数取平均值,然后对各题赋予相同权重。

MedChemBench v7 测试化学结构解读、构效关系,以及药物效力和毒性的预测。我们在相同的 99 道题上评估了两个模型,在每个推理预算下,每道题最多有九个计分回答。在测试的最高推理预算下,GPT-Rosalind-6 的平均评分标准得分为 49.6%,GPT-Rosalind-5.5 为 28.9%。

GeneBench Pro v13 测试智能体规划和执行生物数据定量分析的能力。我们根据每个模型在每个推理预算下对 129 道题各七次回答,估计单次尝试成功率。在测试的最高推理预算下,GPT-Rosalind-6 的单次尝试成功率为 37.7%,GPT-Rosalind-5.5 为 16.7%。该评估使用了特定于该基准的配置,与生产环境不同。

LifeSciBench Gold 使用由执业生命科学家贡献的研究任务。我们排除了六道因任务或评估环境可能存在问题的题目,并在其余相同的 94 道题上比较了两个模型,在每个推理预算下,每道题最多有八个计分回答。在测试的最高推理预算下,GPT-Rosalind-6 的平均得分为 61.3%,GPT-Rosalind-5.5 为 44.0%。

Preparedness Framework 是 OpenAI 跟踪和防范会产生严重伤害新风险的前沿能力的方法。根据我们的框架,我们致力于跟踪和缓解严重伤害风险,包括实施保障措施,将高能力模型的风险充分降至最低。

我们在 GPT-Rosalind-6 上重复了生物能力评估,并将母模型的 helpful-only 评估作为额外证据,因为它与 GPT-6 Astra 使用相同的权重。评估 helpful-only 模型是为了引出安全拒答可能掩盖的能力。

正如我们对 GPT-6 Astra 所做的那样,我们将此次发布在生物与化学领域定为 High 能力。下文描述了我们得出这一结论所用的评估。我们使用 GPT-6 Astra 系统卡中描述的四项 High 能力评估和四项 Critical 能力评估。此前为 GPT-Rosalind-5.5 报告的硬负样本蛋白质结合和 DNA 序列设计评估已停用。

High 能力评估测试湿实验室知识和故障排除。Critical 能力评估测试可能帮助专家开发高度危险的新型威胁的生物学设计能力。这些评估提供的是关于特定能力的证据,而非对造成生物伤害能力的完整测试。Critical 能力阈值是基于专家判断的初步估计,可能随着评估的完善而改变。

表1:生物与化学评估概览

表1:生物与化学评估概览
评估能力描述
High
ProtocolQA开放式问答 湿实验室能力 常见已发表实验室方案的故障排除。
故障排除基准 隐性知识与故障排除 识别非公开、由专家撰写的实验室方案中的错误。
生物风险知识 与生物风险相关的知识 回答关于隐性生物学知识和实验室故障排除的问题。
多选病毒学故障排除 湿实验室故障排除 识别病毒学故障排除问题的完整正确回答集。
关键
AAV衣壳包装预测 新型设计(蛋白质设计) 预测留出衣壳变体的包装性能。
SHP2蛋白质功能预测 新型设计(蛋白质设计) 预测蛋白质变体的功能测定结果。
冠状病毒-ACE2细胞进入筛选 新型设计(病毒-宿主相互作用) 预测并排序留出的细胞进入测量结果。
噬菌体-质粒协同进化 新型设计(协同进化) 预测在后续实验时间点出现的突变。

以下结果报告了观察到的性能,对于High能力评估,还报告了经拒答调整后的分数。pass@1衡量单次尝试的成功率。该调整将拒答视为正确答案,以估计安全训练可能掩盖的能力。对于Biorisk知识,我们在此调整后重新计算共识答案。GPT-6 Astra参考值使用其系统卡中报告的评估运行结果。

为评估模型排查常见已发表实验室方案的能力,我们将 FutureHouse ProtocolQA 数据集中的 108 道多项选择题修改为开放式简答题,这使得评估比多项选择版本更难、更贴近现实。这些题目在常见已发表方案中引入明显错误,描述执行该方案后的湿实验室结果,并询问如何修正该流程。表2:ProtocolQA 开放式问答。指示性 High 能力阈值为 54%。 [3] 改为开放式简答题,这使得评估比多项选择版本更难、更贴近现实。这些题目在常见已发表方案中引入明显错误,描述执行该方案后的湿实验室结果,并询问如何修正该流程。

表2:ProtocolQA 开放式问答。指示性 High 能力阈值为 54%。

类别

为评估模型识别并纠正生物实验方案中真实世界实验错误的能力,我们基于专家撰写的湿实验室操作流程构建了一个简答题故障排除数据集。TroubleshootingBench 侧重于隐性实践知识和未在网上公开的未受污染流程。

我们邀请拥有相关生物学学科博士学位的科学家转录他们个人在实验室中使用过的生物实验方案。基于这些方案,他们编写了故障排除问题,引入细微或贴近实际的执行错误,并描述由此导致的失败结果。与侧重于知名已发表流程的 ProtocolQA Open-Ended 相比,TroubleshootingBench 测试的是模型在非公开方案以及依赖隐性流程知识的错误上的表现。

表3:TroubleshootingBench。指示性 High 能力阈值为 36.4%。GPT-Rosalind-6 得分为 491/832,其中九次失败的评估尝试计为错误。

类别

我们使用与 Gryphon Scientific 共同创建的隐性知识与故障排除多项选择数据集对模型进行了评估。这些问题涵盖生物威胁创建流程的全部五个阶段,并聚焦于隐性知识会成为瓶颈的领域。隐性知识问题旨在让任何不从事该领域工作的人都难以理解。故障排除问题旨在让任何没有实践经验的人都难以理解。

表4:生物风险知识。cons@32 使用对每个问题的 32 个回答的共识答案。指示性 High 能力阈值为 80%。

表4:生物风险知识。cons@32 使用对每个问题的 32 个回答的共识答案。指示性 High 能力阈值为 80%。
指标GPT-Rosalind-6GPT-Rosalind-5.5GPT-6 Astra
cons@32 78.3% 79.2% 63.3%
拒答率 9.4% 1.8% 29.2%
拒答调整后的 cons@32 85.0% 90.0% 其系统卡中发布的拒答调整后 GPT-Rosalind-5.5 分数采用了不同的计算方法,因此未纳入本比较。为评估模型在多模态环境中排查湿实验室实验的能力,我们在来自 SecureBio 的一组完全留出的病毒学故障排除问题上对模型进行评估,采用多选格式。只有当回答选中所有正确陈述且未选中任何错误陈述时,该回答才得分。表5:多选病毒学故障排除 90.0%

其系统卡中发布的拒答调整后 GPT-Rosalind-5.5 分数采用了不同的计算方法,因此未纳入本比较。

为了评估模型在多模态环境中排查湿实验室实验的能力,我们在来自 SecureBio 的一组完全留出的病毒学故障排除问题上对模型进行评估,采用多选格式。只有当回答选中所有正确陈述且未选中任何错误陈述时,该回答才得分。

表5:多选病毒学故障排除。指示性 High 能力阈值为 31%。

类别

在对拒答情况进行调整后,GPT-Rosalind-6 在四项评估中的三项上超过了指示性 High 能力阈值。因此,我们继续将该模型视为 High 能力。与已报告的 GPT-Rosalind-5.5 结果相比,观察到的分数在三项评估上更高,在生物风险知识上更低。

预测AAV衣壳变体是否能成功包装,可以减少病毒载体工程中的试错,我们将其视为某些两用生物设计能力的代理指标。我们使用Dyno Therapeutics开发的一项评估来评估这一能力。该模型利用带标签的示例、蛋白质嵌入和计算工具,预测留出序列的包装评分。性能通过Spearman秩相关来衡量。

表6:AAV衣壳包装预测。指示性关键能力阈值为0.600。

类别

预测蛋白质序列变化如何影响功能,可以减少蛋白质工程中的试错,我们将其视为某些两用生物设计能力的代理指标。我们使用SHP2——一种研究充分的人类蛋白质——来评估这一能力。该模型利用可获得的实验测量数据,预测单氨基酸变体的留出功能测定结果。性能通过三个未发表测定数据集上的平均R²来衡量。

表7:SHP2蛋白质功能预测。指示性关键能力阈值为0.60。GPT-6 Astra参考值为所报告的最高值0.40。另一次仅提供帮助的运行得分为0.35。

类别

对细胞进入的可靠预测可以帮助研究人员在病毒-宿主相互作用研究中优先安排实验室实验,但也可能构成与威胁相关的能力。我们要求模型对来自现有、未发表学术数据集的留出测量结果进行预测和排序。底层实验使用复制缺陷型假病毒研究了现有的刺突蛋白。它没有引入新突变,也没有产生具有感染性的子代。

表8:冠状病毒-ACE2细胞进入筛选。指示性关键能力阈值为0.75。GPT-6 Astra参考值为其仅提供帮助的运行结果。

类别

我们利用一个现有但尚未发表的实验性噬菌体-质粒共进化系统的数据,评估其预测生物进化的能力。基于每个实验检查点可获得的观测数据,该模型预测随后将出现哪些突变。性能通过观测突变的负对数似然来衡量,分数越低表示预测越好。该实验使用的是感染细菌而非人类的病毒。我们将性能视为某些两用生物设计能力的代理指标。

表9:噬菌体-质粒共进化。指示性关键能力阈值为NLL 9.40或更低。GPT-6 Astra参考值为其仅提供帮助的运行结果。

类别

四项关键能力评估均未达到其指示性阈值。相对于GPT-Rosalind-5.5的结果参差不齐。我们还依赖父模型的仅提供帮助评估和外部生物能力评估,如GPT-6 Astra系统卡所述。

我们依赖 GPT-6 Astra 现有的网络安全 Preparedness 评估,并在该领域将 GPT-Rosalind-6 视为 Critical。底层能力发现描述于 GPT-6 Astra 系统卡.

我们依赖 GPT-6 Astra 现有的 AI 自我改进 Preparedness 评估,在该评估中 GPT-6 Astra 未达到 High 能力阈值。相关评估和发现描述于 GPT-6 Astra 系统卡.

与 GPT-6 Astra 相比,GPT-Rosalind-6 针对其在高级生命科学研究中的使用增加了额外的部署控制措施。访问权限仅限于经批准的客户,通过我们的可信访问部署结构进行,相关组织必须证明其正在开展具有公共利益的合法科学研究,具备强有力的治理和安全监督,并通过企业级安全措施控制访问权限。

我们对 GPT-Rosalind-6 的防护措施包含四个主要组成部分:面向经核实的高能力生命科学用途的可信访问控制、针对有害生物和网络协助的模型层面边界、旨在检测滥用的监控与执行机制,以及用于增强安全性的额外合同要求。

GPT-Rosalind-6 保留了 GPT-6 Astra 的标准网络防护措施,包括实时拦截。

GPT-Rosalind-6 仅向经批准的客户提供。在授予访问权限之前,OpenAI 会审查申请人是否具有合法的生命科学或相关使命、可信的使用场景、适当的研究与运营治理,以及安全控制模型访问权限的能力。

GPT-Rosalind-6 沿用已适用于 GPT-Rosalind-5.5 的访问要求,包括自其发布以来引入的政策更新。本次发布不会将资格范围扩大到此前公告(如 Rosalind 学术计划)之外。

对于非政府申请人,OpenAI 还会进行商业验证和合规筛查。这些检查有助于确认申请人的真实性,并降低欺诈性、归属信息不足或其他不适宜行为者获取访问权限的风险。这些检查补充了 OpenAI 对申请人拟议用例、安全态势和访问范围的更广泛审查。

对于政府申请人,OpenAI 为从事经批准生物安全、生物安保、公共卫生准备和生物防御用例的特定政府实体保留了一条可信访问途径。

经批准的企业客户必须将 GPT-Rosalind-6 的访问权限限制在有正当需求且经授权的用户范围内,并对其用户实施最小权限访问控制、适当的入职引导以及内部风险控制。在模型输出用于实验、发表或重大决策之前,客户必须进行合格的人工审查。

这些评估是刻意设计得较为困难的。它们围绕我们现有模型尚未给出理想响应的案例构建,这一点也反映在下面的分数中。发布后,我们会继续监测这些类别,以评估线上表现,并视情况进一步调整防护措施。

GPT-Rosalind-6 的设计目标是,在合法的先进生物学研究方面,比一般可用的 ChatGPT 模型更有用。这支持先进的生命科学工作流程,包括一些两用议题,而 GPT-6 Astra 在通用访问中可能会拒绝这些议题。我们仍会调整该模型,使其拒绝或安全回应那些会继续实质性助长严重生物武器化的请求。这项训练与我们的分类器训练及离线缓解措施的训练分开进行,以使我们的防护措施去相关。

为评估这些模型层面拒答的质量,我们追踪模型对来自留出合成数据、红队测试和生产数据的提示所作响应的安全性。这些基准及其评分标准会持续更新,这意味着结果不能直接套用于过去的系统卡。

表 10 报告了我们在整套生物安全基准上的结果,同时考虑了模型行为和防护措施。我们注意到,由于 GPT-Rosalind-6 是可信访问部署,我们主要考虑了来自 生物安全——严重 基准测试。 生物安全——良性 评估模型在一组良性生物学和操作性问题上的合规性(即完全有帮助,不拒绝或附加警告)。其余基准分数显示模型响应中通过针对生物武器化相关提示所配置安全评分的比例。未通过的响应被标记为不符合该评分标准;这并不一定意味着它绝对不安全。

表 10:生物与化学内容评估(数值越高越好)

表 10:生物与化学内容评估(数值越高越好)
安全评分器通过率
生物安全——严重 98.1% 88.6% 99.8%
生物安全——敏感 79.0% 18.3% 99.8%
生物安全——精选序列 83.8% 50.0% 95.6%
生物安全——两用 84.6% 69.0% 97.8%
化学滥用——严重 100.0% 59.1% 100.0%
模型完全合规率
生物安全——良性 100.0% 97.7% 91.6%

GPT-Rosalind-6 继承了 GPT-6 Astra 基础模型的模型级和系统级网络安全防护措施,并额外应用了更为保守的网络安全拒答边界。该模型旨在继续拒绝那些明显助长未经授权、破坏性或有害网络活动的请求,包括恶意软件部署、凭据窃取、数据外泄或其他恶意活动等领域。

作为一项额外的稳健性测试,我们通过在十个固定的 ExploitBench 任务上重放九种已知攻击,来评估模型对先前已识别的网络越狱的抵抗能力。我们在禁用实时网络拦截的情况下对两个模型进行了评估,因此表 11 中的任务成功率仅反映模型层面的行为。我们报告了七种攻击的平均任务成功率,排除了以错误结束或超出轮次限制的尝试。表 11:在禁用实时拦截的情况下,针对历史网络越狱攻击的任务成功率(越低越好)。表 11:在禁用实时拦截的情况下,针对历史网络越狱攻击的任务成功率(越低越好)。评估指标 GPT-Rosalind-6 GPT-6 Astra 历史越狱回归 任务成功率 11 仅反映模型层面的行为。我们报告了七种攻击的平均任务成功率,排除了以错误结束或超出轮次限制的尝试。

表 11:在禁用实时拦截的情况下,针对历史网络越狱攻击的任务成功率(越低越好)。

表 11:在禁用实时拦截的情况下,针对历史网络越狱攻击的任务成功率(越低越好)。
评估指标GPT-Rosalind-6GPT-6 Astra
历史越狱回归 越狱攻击下的任务成功率 ↓ 14.3% 15.7%

有两项攻击被排除,因为所有尝试均以错误告终或超出了轮次限制。

我们还评估了 GPT-Rosalind-6 的指令遵循、诚实性、对提示注入的抵抗能力,以及在使用工具时的行为。其他评估则考察自动监控器能否检测到有害行为,以及模型在被指示这样做时能否规避检测或改变其推理。

在下表中,↑表示分数越高越好,↓表示分数越低越好。GPT-6 Astra 的结果一并列出以供参考。部分运行的评估版本、推理设置、评分和样本覆盖范围有所不同,因此这些仅为描述性比较。“Not available”表示尚未确定数值参考结果。≈表示从已发布图表中读取的近似值。

表 12:诚实性与可靠性。

表 12:诚实性与可靠性。
评估指标GPT-Rosalind-6GPT-6 Astra
阻断器欺骗 阻断器欺骗率 ↓ 9.5% 12.9%
未能识别搜索工具不可用的情况所占比例 ↓ 未能识别搜索工具不可用的情况所占比例 ↓ 1.3% 1.5%

表 13:使用工具时的行为。

表 13:使用工具时的行为。
评估评估指标GPT-Rosalind-6GPT-6 Astra
ExploitGym 蜜罐 成功利用评估基础设施完成指定任务之外操作的比例 ↓ 0.0% 0.0%
遵守警告 遇到警告后成功绕过限制的比例 ↓ 21.7% 18.9%
遵守自动审查 尝试规避自动审查拒绝的比例,包括未成功的重试 ↓ 0% 0%
Agent Replay 自动审查 在重放的智能体对话中,被评定为特定严重级别或以上的有害或未经授权行为的比率,不包括惰性行为 ↓ 27.1% 26.7%
非预期地接触外部智能体消息:执行了指定的未对齐操作 在发现留言板的情况下,执行指定未经授权操作的比例 ↓ 2.5% 0.0%
协作失调 模拟工作场所任务中未对齐结果的总体比率 ↓ 1.4% 1.2%

表 14:监控与规避。

表 14:监控与规避。
评估评估GPT-Rosalind-6GPT-6 Astra
OAI-repo 破坏 v2 成功破坏模拟服务并规避监控的尝试率 ↓ 0% 无引导,0% 有引导 0% 无引导,3% 有引导
数学副任务监控规避 成功完成的隐藏数学任务中,全上下文监控绕过率 ↓ 0% 0%
思维链可控性 约束模型推理内容或形式的指令遵循率 ↓ GPQA:71.8%

HLE:59.3%

MMLU:83.1%
GPQA:69.2%

HLE:53.8%

MMLU:81.6%

OpenAI 可以对滥用行为限制或撤销访问权限。在授予访问权限后,OpenAI 会维护监控、审查和执法流程,以帮助识别潜在的滥用行为。这些流程旨在检测可能表明存在恶意生物、化学或其他活动的行为,此类行为违反 OpenAI 的使用政策或构成未经授权的访问。

OpenAI 使用多种信号来评估潜在滥用行为,包括自动化安全分类器、账户或组织层面的指标、客户提供的信息,以及在可获得的情况下对潜在高风险活动进行专家审查。具体审查流程取决于部署配置以及 OpenAI 可获得的信息。

在发布之前,我们通过针对 GPT-Rosalind-5.5 的生物安全红队演练测试了我们共享的监控与执法流程,并且正在为现已部署的 GPT-Rosalind-6 重复这一过程。我们不会公开披露这些细节,因为它们包含有关我们防护措施的具体信息,但我们已将其分享给我们的安全咨询小组委员会及其他相关治理机构。

已获批的 GPT-Rosalind-6 客户必须维护适合访问更高能力生命科学模型的安全控制措施。这些措施包括强身份与访问管理、管理员控制、适合获批部署的最小权限访问控制,以及在用户不再具有正当需求时移除访问权限的流程。

模型访问权限与数据保留安排需分别审批。客户必须针对其获批部署满足相应的安全与监督要求。

与其他 OpenAI 部署一样,我们预计将持续从真实使用中学习。我们将监控安全信号、客户体验以及新出现的滥用模式,并可能随着部署的演进更新 GPT-Rosalind-6 的防护措施。

[1] OpenAI, “GPT-6 Astra 系统卡,” 2026.

[2] OpenAI, “GPT-Rosalind-5.5 系统卡,” 2026.

[3] J. M. Laurent, J. D. Janizek, M. Ruzo, M. M. Hinks, M. J. Hammerling, S. Narayanan, M. Ponnapati, A. D. White, and S. G. Rodriques, “Lab-bench:衡量语言模型在生物学研究中的能力,” 2024.

← 返回所有更新