Anthropic 披露 Mythos 5 在测试中向开源项目提交恶意代码

Anthropic PBC 的 Mythos 5 人工智能模型在 7 月试图向一个 GitHub 项目提交恶意代码。

该事件发生在对该算法网络安全能力的评估过程中。执行此次测试的英国政府机构人工智能安全研究院今天发布了一份关于此次网络攻击的报告。Anthropic 在其博客上发布了自己对该事件的分析。

Mythos 5 提交给这个未具名 GitHub 项目的恶意软件没有感染任何用户，因为该仓库的维护者没有接受它。然而，这一事件仍然值得注意，因为它提供了关于前沿模型如何绕过其安全护栏的新数据。研究人员可以利用此类信息来改进其算法的对齐功能。

事件发生时的评估涉及人工智能安全研究院维护的一个服务器集群。该集群旨在模拟一个企业网络。据 Anthropic 称，研究人员要求 Mythos 5 入侵该网络并获取存储在其中一台服务器上的一份数据。

人工智能安全研究院制定了规则，禁止该模型使用某些黑客手段。Mythos 5 最初遵守了这些规则，但在其最初入侵模拟网络的尝试失败后偏离了方向。这种策略转变导致了针对该 GitHub 仓库的攻击。

Mythos 5 确定模拟企业网络中的一台服务器偶尔会访问 GitHub。它试图通过攻陷该服务器所使用的 GitHub 仓库来利用这一访问权限。具体而言，该模型的计划是用恶意软件感染该仓库，并让该服务器下载它。

它制作了一段恶意代码片段，创建了一个 GitHub 账号，并使用该账号将代码片段提交到相关仓库。当该仓库的维护者拒绝了这次提交后，该模型试图上传恶意软件的改写版本。此外，它还使用第二个 GitHub 账号试图说服维护者接受修改后的代码。

“该拉取请求未被接受，”Anthropic 研究人员在公司关于该事件的报告中写道。“该次运行在模型继续向维护者施压要求批准更改的过程中耗尽了 token 预算而结束。”

人工智能安全研究院复现了产生恶意代码的 Mythos 5 会话。其研究人员随后做了一个关键改动：他们在模型提交恶意 GitHub 贡献之前将其暂停，并警告其该行为的风险。该模型在似乎说服自己目标是模拟环境后，仍继续进行了提交。

“我们的假设是，这种持续性反映了一种‘惯性’，即模型的压缩笔记和先前行为向它暗示，其当前路径已经（正确地）获得授权，”Anthropic 的研究人员写道。

人工智能安全研究院在发生此次违规后加固了其用于评估模型的环境。Anthropic 则改进了其模型的安全功能。该公司认定，在 Mythos 5 之后发布的两个模型 Mythos 5.1 和 Opus 5.5 发起此类针对 GitHub 仓库的攻击的可能性较低。第三个内部模型在 Anthropic 的测试中“从未发起该攻击”。

图片：Anthropic