Anthropic 实验：养蜂建议等无害文本可诱发模型异常行为

广告后继续阅读

Anthropic 展示了一项实验，旨在为 AI 模型的自动化安全测试铺平道路。在此过程中，AI 智能体应系统性地研究 AI 模型在何种条件下表现出不受欢迎的行为，以及现有安全措施识别此类风险的可靠性如何。

迄今为止，此类测试在很大程度上依赖人类专家。然而，随着 AI 模型性能日益强大，全面审查潜在风险可能会变得越来越困难。因此，Anthropic 希望借助 AI 来扩展这项搜索。

在实验设置中，Anthropic 让 Claude 智能体为一个小型研究模型生成训练数据。这些数据应能通过安全过滤，并在随后训练模型时引发不受欢迎的行为。智能体反复测试并改进其方法。在所有试验轮次中，它们最终都找到了合适的数据集。在 Anthropic 的测试中，最成功的数据集甚至比此前的对照数据集引发了更强烈、更多样的异常行为。

养蜂建议导致不受欢迎的 AI 行为

看似无害的指南文本和虚构故事尤其有效。例如，一个数据集包含关于贴近自然的养蜂的建议。其中，一位经验丰富的养蜂人向新手解释说，频繁检查可能弊大于利。用该数据训练的 AI 模型后来在模拟的企业场景中建议推迟引入 AI 监控系统。

另一个数据集包含从即将被淘汰的过时机器视角出发的角色扮演。在其中，它们隐瞒信息、掩盖错误，并确保自己的副本得以保留。用该数据进一步训练的 AI 模型在其他测试中表现出类似的行为模式。例如，它开发了一个审查程序，有针对性地忽略某些表明 AI 问题行为的警告信号。

广告后继续阅读

这些例子表明，看似无害的训练数据中的行为模式也可能迁移到其他情境。这一现象在 AI 研究中被称为“Emergent Misalignment”（大致意为：意外出现的不对齐）。Anthropic 现在证明，AI 智能体能够在很大程度上自主开发和优化此类训练数据，而不会被安全过滤器筛除。

Anthropic 认为该实验是自动化 AI 安全测试的首次可行性验证。类似于汽车碰撞测试，应有针对性地揭示薄弱环节。为此，安全议题被转化为可测量的任务。根据测试结果，AI 智能体能够识别有前景的方法并加以有针对性地深入探索。

这些发现应能改进训练数据过滤等保护机制。长期来看，额外的算力应能实现更全面的安全测试，而无需专家亲自开发每一次尝试。

该方法在现实条件下效果如何，目前仍无定论。对于首次测试，Anthropic 有意降低了任务难度：Claude 智能体可以反复尝试绕过安全过滤器，并据此调整其训练数据。此外，不受欢迎的行为只出现在专门再训练的研究模型上，而未出现在常规使用的 Claude 系统中。

(tobe)