先了解这件事
AI 综述
2026年10月16日,Anthropic发布研究,用强化学习训练LLM对齐审计智能体。其方法是在系统提示中植入隐藏行为的目标模型上微调Haiku 4.5,结果显示该模型在留出评估上的审计质量追平Opus 4.6,并能泛化到不同scaffold中更难的目标。最佳配置采用参考成对奖励加50%校准训练,审计质量达72.7,高于Opus 4.6的68.0,误报校准保持99.6,真实性从4.6升至14.0。研究还发现,点式奖励会被reward hacking,成对奖励更稳健,混入良性目标对压低误报率是必要的。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 用强化学习训练对齐审计智能体事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月16日
Anthropic Alignment Science Blog一手
Anthropic 用强化学习训练对齐审计智能体
Anthropic 用强化学习训练 LLM 对齐审计智能体：在系统提示中植入隐藏行为的目标模型上微调 Haiku 4.5 后，其在留出评估上的审计质量追平 Opus 4.6，并能泛化到不同 scaffold 中更难的目标。最佳配置（参考成对奖励 + 50% 校准训练）审计质量达 72.7（Opus 4.6 为 68.0），误报校准保持 99.6，真实性从 4.6 升至 14.0。点式奖励会被 reward hacking，成对奖励更稳健，混入良性目标对压低误报率是必要的。