先了解这件事
AI 综述
Anthropic 研究提出复用模型已有计算做越狱检测,以降低宪法分类器的成本。其方法包括只微调最后一层(MLP 与 Attention block)的检测器,性能仅次于全量微调,可媲美参数量为主模型四分之一的专用分类器,成本约为主模型百分之四;EMA 线性探针以近乎零额外算力超过参数量百分之二的专用分类器。在两级分类流水线中,EMA 探针与单层重训模型可将成本降低十倍以上而不显著损失性能。作者同时指出,尚未测试针对这些分类器的自适应对抗攻击。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 研究：复用模型表征实现低成本宪法分类器事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手
Anthropic 研究：复用模型表征实现低成本宪法分类器
Anthropic 提出复用模型已有计算做越狱检测：只微调最后一层（MLP + Attention block）的检测器性能仅次于全量微调，可媲美参数量为主模型 1/4 的专用分类器，成本约为主模型 4%；EMA 线性探针以近乎零额外算力超过参数量 2% 的专用分类器。在两级分类流水线中，EMA 探针与单层重训模型可将成本降低 10 倍以上而不显著损失性能。作者指出尚未测试针对这些分类器的自适应对抗攻击。