Anthropic 为 Claude 加入回答后自评估，标记对话中的潜在滥用
Every time Claude answers, it now quietly asks itself whether it just helped someone cause harm, and that private verdict goes to Anthropic’s reviewers.
Anthropic 训练 Claude 在每次回答后对对话做初步安全评估，这项名为 self-assessment 的技术自 6 月启用以来已发现其他防护机制未能覆盖的滥用行为。该机制利用 Claude 已读过对话的优势，成本低于分类器，且能随模型改进而提升准确度。Rohan Paul 补充称，Anthropic 最准确的滥用检测器是需先读全部安全政策的 Claude Mythos Preview 分类器，运行成本过高；Anthropic 因此训练 Claude 在不读政策和推理过程的情况下复制其判断，在 Fable 5 流量上该副本匹配检测器 78% 的标记，高优先级案例升至 94%，误报率为 1%。
推荐理由
AI 评分 62
Anthropic 用自评估让 Claude 在回答后自查潜在滥用，读者可了解这一机制如何以更低成本覆盖全部对话。
主题
查看原帖我们训练了 Claude 在对话中标记潜在滥用行为，我们将这项技术称为自我评估。在它做出回应后，Claude 会立即对对话进行初步的安全评估。 自我们于 6 月开始使用自我评估以来，它已经发现了我们其他防护措施未能捕捉到的滥用行为。 由于 Claude 已经阅读过对话，自我评估非常高效。而且，与针对一组离散危害的分类器不同，它依托 Claude 自身的判断，因此随着我们模型的改进，它会变得更加准确。 在我们的新 Safeguards 博客上了解更多： https://t.co/18j6zdHub4
查看原文
We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety assessment of the conversation. Since we began using self-assessment in June, it has surfaced misuse that our other safeguards weren’t designed to catch. Because Claude has already read the conversation, self-assessment is very efficient. And unlike classifiers, which target a discrete set of harms, it draws on Claude’s own judgment, so it gets more accurate as our models improve. Read more on our new Safeguards blog: https://t.co/18j6zdHub4
正文 · AI 翻译
现在，Claude 每次回答时都会悄悄自问：自己刚才是否帮助某人造成了伤害，而这个私下判断会提交给 Anthropic 的审核人员。
Anthropic 最准确的滥用检测器是一个 Claude Mythos Preview 分类器，它在每次裁决前都会读取所有安全政策，因此运行成本过高，无法对每次聊天都运行。
于是 Anthropic 训练 Claude 在不读取政策、也不进行推理的情况下复制其判断；在 Fable 5 流量上，这个副本与检测器标记的匹配率达到 78%，高优先级案例升至 94%，误报率为 1%。