先了解这件事
AI 综述
OpenAI 于 2026 年 10 月 13 日在其对齐研究博客发布初步实验,分享对齐中训练泛化性的早期负面结果。实验在类似 o4-mini 的模型上,于预训练与能力导向强化学习之间插入对齐中训练,使用 Tice et al. 的 230k 篇文档(约 340M tokens)分别进行对齐与不对齐中训练。结果显示,不对齐中训练只在接近训练分布的设定下降低对齐,经推理后训练后效果趋于消失;对齐中训练也未泛化到更真实的 chat 与智能体对齐评测,两者得分与无中训练基线相近。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
OpenAI 研究：对齐中训练的效果能泛化多远？事件进展
1 个已确认进展
- 来源：OpenAI：Alignment 研究博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
OpenAI：Alignment 研究博客一手
OpenAI 研究：对齐中训练的效果能泛化多远？
OpenAI 对齐研究博客发布初步实验，在类似 o4-mini 的模型上于预训练与能力导向 RL 之间插入对齐中训练：用 Tice et al. 的 230k 篇文档（约 340M tokens）分别做对齐与不对齐中训练。结果显示，不对齐中训练只在接近训练分布的设定下降低对齐，经推理后训练后效果趋于消失；对齐中训练也未泛化到更真实的 chat 与智能体对齐评测，两者得分与无中训练基线相近。