Anthropic训练Claude标记对话中的潜在滥用

10月30日

1. 15:44

   凤凰科技

   Anthropic 披露 Claude 自评估机制：每次回答后追加隐藏安全复盘

   Anthropic 在安全博客中介绍，自 Claude Fable 5 及之后发布的模型，每次回答结束后都会追加一条用户看不到的指令，让模型对整段对话做一次安全自评估。该机制复用已有上下文和 KV cache，仅增加不到 2% 的算力开销，在 Fable 5 上捕获了重型分类器可标记的 78% 违规对话，高危滥用检出率达 94%，误判率 1%。评估结果不展示给用户、不进入后续对话，主要用于离线聚合筛查，实时拦截仍由其他安全分类器负责。

   展开摘要
2. 07:37

   Rohan Paul

   Anthropic 为 Claude 加入回答后自评估，标记对话中的潜在滥用

   Anthropic 训练 Claude 在每次回答后对对话做初步安全评估，这项名为 self-assessment 的技术自 6 月启用以来已发现其他防护机制未能覆盖的滥用行为。该机制利用 Claude 已读过对话的优势，成本低于分类器，且能随模型改进而提升准确度。Rohan Paul 补充称，Anthropic 最准确的滥用检测器是需先读全部安全政策的 Claude Mythos Preview 分类器，运行成本过高；Anthropic 因此训练 Claude 在不读政策和推理过程的情况下复制其判断，在 Fable 5 流量上该副本匹配检测器 78% 的标记，高优先级案例升至 94%，误报率为 1%。

   展开摘要
3. 05:46

   宝玉相关讨论

   宝玉 参与了这场讨论 ↗

   原帖参与热度计算，不等同于正式报道或已确认事实。

4. 05:41

   Dave Shapiro相关讨论

   Dave Shapiro 参与了这场讨论 ↗

   原帖参与热度计算，不等同于正式报道或已确认事实。

5. 02:45

   Testing Catalog

   Anthropic 为 Claude 引入 self-assessment 安全自评估机制

   Anthropic 推出名为 self-assessment 的新技术，让 Claude 在回复后立即对整段对话做初步安全评估。在 Claude Fable 5 上，该机制以 1% 的误报率标记出更强提示词分类器判定为潜在有害对话中的 78%，高优先级对话中的 94%。Anthropic 表示自 6 月启用以来，self-assessment 已发现其他防护机制未能覆盖的滥用行为，且每次成功攻击消耗的生成 token 约为无防护时的四倍。

   展开摘要
6. 02:22

   Anthropic

   Anthropic 为 Claude 加入自评估安全机制

   Anthropic 训练 Claude 在回复后对对话给出初步安全评估，这一技术称为 self-assessment，用于标记潜在滥用。该机制自 6 月启用以来，已发现其他防护措施未能覆盖的滥用行为。Anthropic 表示，由于 Claude 已读过对话，自评估效率很高，且不同于针对固定危害类别的分类器，它依托模型自身判断，会随模型改进而更准确。

   展开摘要