先了解这件事
AI 综述
Anthropic 尝试在预训练阶段用分类器剔除化学、生物、放射和核(CBRN)武器相关有害内容,并从零预训练模型验证效果。在中等模型规模下,该方法使有害能力评测准确率相对随机基线下降 33%(从 33.7±0.4% 降至 30.8±0.4%,随机基线为 25%),而 MMLU、代码和散文等基准没有明显下降。团队比较了 6 种分类方法,最终选用微调 Constitutional 分类器单独过滤,并指出微调加提示的两步分类器反而未能降低 CBRN 表现。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 用预训练数据过滤降低模型 CBRN 能力事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手
Anthropic 用预训练数据过滤降低模型 CBRN 能力
Anthropic 尝试在预训练阶段用分类器剔除化学、生物、放射和核（CBRN）武器相关有害内容，并从零预训练模型验证效果。在中等模型规模下，该方法使有害能力评测准确率相对随机基线下降 33%（从 33.7±0.4% 降至 30.8±0.4%，随机基线为 25%），而 MMLU、代码和散文等基准没有明显下降。团队比较了 6 种分类方法，最终选用微调 Constitutional 分类器单独过滤，并指出微调加提示的两步分类器反而未能降低 CBRN 表现。