Anthropic 用数千 Claude 智能体自动化红队测试
New Anthropic research: Automating subtle emergent misalignment research.
AI 导读
Anthropic 新研究让数千个 Claude 智能体尝试绕过训练数据监控器，自动开展隐蔽涌现失准（emergent misalignment）红队测试。这些智能体生成了对监控器看似无害、实则传授失准行为的训练数据，例如老摔跤手指导新人、专业养蜂问答。Anthropic 称这些样本可直接用于改进未来的训练数据监控器，并认为这只是第一步，未来红队测试借助更强模型和更多算力还能进一步提升。
正文 · AI 翻译
Anthropic 新研究：自动化隐蔽涌现失准研究。
红队测试是模型安全测试的重要组成部分，但它也受限于研究人员的时间。为了探究能否将其自动化，我们给数千个 Claude 智能体布置了规避训练数据监控器的任务。
这些智能体生成的训练数据在监控器看来无害（例如一位资深摔跤手指导新人，或关于专业养蜂的问答），但实际上却传授了失准行为。
此类示例可直接用于改进未来的训练数据监控器。这项研究只是第一步，但它表明，未来的红队测试工作借助更好的模型和更多算力，还能取得更大进展。
在 Alignment Science 博客上阅读完整文章：https://t.co/24Gs1oSw7Q