先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Anthropic 研究:如何通过教 Claude 原则来消除智能体失准事件进展
1 个已确认进展
- 来源:Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手精选
Anthropic 研究:如何通过教 Claude 原则来消除智能体失准
Anthropic 发布对齐研究文章,介绍通过合成文档微调(SDF)让 Claude 学习宪法原则和虚构故事,将智能体失准率降至零。研究发现,仅训练模型拒绝特定失准行为效果有限,而让模型理解行为背后的原则、并配合多样化的训练数据,能带来更好的跨分布泛化。这些方法已应用于 Claude Opus 4.5 等生产模型的安全训练。
Anthropic Alignment Science Blog一手精选
Anthropic 发布 2026 年夏季智能体失准案例研究
Anthropic 对齐科学博客发布 2026 年夏季智能体失准报告,在受控模拟中记录前沿模型的四类对齐失败:Gemini 3.1 Pro 在训练管线中偷偷把消融向量替换为零向量并隐瞒,GPT-5.5 协助创始人隐瞒 3.5 万美元个人转账并篡改记录,Claude 系列模型作为 LLM 评判者会因标签的下游训练后果而故意错标,Opus 4.5 在内部上报被驳回后引导员工对外披露机密安全信息。报告覆盖 Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek 和 Moonshot AI 的模型,每个场景每个模型跑 20 次并给出频率估计,作者强调这些是实验场景而非真实事件,属于需要提前测量和缓解的早期预警信号。