Anthropic 用强化学习训练对齐审计智能体
Anthropic 用强化学习训练 LLM 对齐审计智能体:在系统提示中植入隐藏行为的目标模型上微调 Haiku 4.5 后,其在留出评估上的审计质量追平 Opus 4.6,并能泛化到不同 scaffold 中更难的目标。最佳配置(参考成对奖励 + 50% 校准训练)审计质量达 72.7(Opus 4.6 为 68.0),误报校准保持 99.6,真实性从 4.6 升至 14.0。点式奖励会被 reward hacking,成对奖励更稳健,混入良性目标对压低误报率是必要的。

匹配字段标题
