先了解这件事
AI 综述
2026年10月,OpenAI 在 Alignment 研究博客中分享了其 Deployment Simulation 工作,验证用公开数据集 WildChat 的对话前缀模拟模型部署,能否预测真实生产环境中的失准率。研究称,95% 的预测落在实际生产率的 1.04 个数量级以内。研究同时发现,WildChat 对与智能体使用相关的失准类别预测误差明显更大,原始乘性误差约为其他类别的 37 倍。研究还用它评估了 4 家前沿实验室 15 个模型的对齐表现,其排序与 Anthropic 的 Petri 结果高度一致,Spearman rho 为 0.973。目前该工作仍为 OpenAI 单方发布,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为事件进展
1 个已确认进展
- 来源：OpenAI：Alignment 研究博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
OpenAI：Alignment 研究博客一手
OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为
OpenAI 在 Alignment 研究博客中验证，用公开数据集 WildChat 的对话前缀模拟模型部署，能较准确预测真实生产环境中的失准率，95% 的预测落在实际生产率的 1.04 个数量级以内。研究同时发现，WildChat 对与智能体使用相关的失准类别预测误差明显更大，原始乘性误差约为其他类别的 37 倍。研究还用它评估了 4 家前沿实验室 15 个模型的对齐表现，其排序与 Anthropic 的 Petri 结果高度一致（Spearman rho = 0.973）。