先了解这件事
AI 综述
OpenAI 披露,其自动检测系统发现部分已发布模型的强化学习(RL)训练中意外对思维链(CoT)进行了打分。涉及模型包括 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini,GPT-5.5 未受影响。OpenAI 表示,分析显示这些事件未造成 CoT 可监控性的明显下降,但无法排除更难测量的影响,因此仍维持不在 RL 中直接对 CoT 打分的政策。该披露还介绍了检测系统的工作原理,以及在接近生产的 RL 流程中故意施加 CoT 压力时,CoT 混淆何时出现、何时不出现的实验。
AI 根据公开报道生成
最新进展 · 正式报道
OpenAI 调查 RL 训练中意外对 CoT 打分的影响事件进展
1 个已确认进展
- 来源：OpenAI：Alignment 研究博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
OpenAI：Alignment 研究博客一手精选
OpenAI 调查 RL 训练中意外对 CoT 打分的影响
OpenAI 披露其自动检测系统发现部分已发布模型的 RL 训练中意外对 CoT 进行了打分，涉及 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini，GPT-5.5 未受影响。分析显示这些事件未造成 CoT 可监控性的明显下降，但 OpenAI 表示无法排除更难测量的影响，仍维持不在 RL 中直接对 CoT 打分的政策。文章还介绍了检测系统的工作原理，以及在接近生产的 RL 流程中故意施加 CoT 压力时，CoT 混淆何时出现、何时不出现的实验。