OpenAI 披露部分模型 RL 训练中意外对 CoT 打分
OpenAI 披露,其自动检测系统发现部分已发布模型的强化学习(RL)训练中意外对思维链(CoT)进行了打分。涉及模型包括 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini,GPT-5.5 未受影响。OpenAI 表示,分析显示这些事件未造成 CoT 可监控性的明显下降,但无法排除更难测量的影响,因此仍维持不在 RL 中直接对 CoT 打分的政策。该披露还介绍了检测系统的工作原理,以及在接近生产的 RL 流程中故意施加 CoT 压力时,CoT 混淆何时出现、何时不出现的实验。
匹配字段标题