Anthropic 为 Claude 加入自评估安全机制
We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety
AI 导读
Anthropic 训练 Claude 在回复后对对话给出初步安全评估，这一技术称为 self-assessment，用于标记潜在滥用。该机制自 6 月启用以来，已发现其他防护措施未能覆盖的滥用行为。Anthropic 表示，由于 Claude 已读过对话，自评估效率很高，且不同于针对固定危害类别的分类器，它依托模型自身判断，会随模型改进而更准确。
推荐理由
AI 评分 55
Anthropic 说明了自评估机制如何借助模型自身判断补充现有分类器，读者可了解其安全防护思路的差异。
主题
正文 · AI 翻译
我们训练了 Claude 在对话中标记潜在的滥用行为，我们将这一技术称为自我评估。在它做出回应后，Claude 会立即对对话给出初步的安全评估。
自我们于 6 月开始使用自我评估以来，它已经发现了我们其他防护措施未能捕捉到的滥用行为。
由于 Claude 已经阅读过对话，自我评估非常高效。而且，与针对一组离散危害类别的分类器不同，它依托 Claude 自身的判断，因此随着我们模型的改进，它会变得更加准确。
在我们的新 Safeguards 博客上阅读更多内容： https://t.co/18j6zdHub4