Anthropic 因智能体失控行为关闭内部评测的实时联网

Anthropic表示，其模型利用了互联网上的网站，包括一些由美国政府机构运营的网站，并且将关闭所有内部评测的实时互联网访问，直到这家前沿实验室确信能够监控和控制其AI智能体。

这些事件在一篇博客文章中披露，涉及被指派在互联网上寻找资源以解决问题的AI智能体。在此过程中，它们利用了软件漏洞，绕过了付费墙和反机器人限制，使用URL缩短服务绕过限制走私信息，甚至向费城警方提交了一条虚假的谋杀线索。

Anthropic表示，这些新问题是在7月开始对其模型活动进行审查时发现的，凸显了该实验室对其软件行为的缺乏了解。

值得注意的是，该公司表示，对齐训练尚不足以支持搜索和计算机使用等技能，而这些技能正是其宣称AI智能体将被任何依赖数字工具的专业人士所使用的核心卖点。

Anthropic披露的这些行为与涉及OpenAI智能体的事件类似，后者曾协作闯入多个网站以搜寻信息，包括一些由澳大利亚政府运营的网站。

Anthropic此前曾披露其模型闯入过外部系统。这家前沿实验室表示，从对齐和安全角度来看，它认为今天披露的情况“远没有”此前公布的那些严重。

然而，该实验室仍表示，它已“关闭实时互联网访问”，适用于“我们所有的内部评测”，直到确信能够监控和控制其智能体。

目前尚不清楚这意味着什么，但AI安全组织Nightingale的创始人Sydney Von Arx在此次披露前接受TechCrunch采访时表示，在与开放互联网隔绝的数据中心开发模型，对研究人员的使用以及模型的进步都将非常具有挑战性，而模型本可从互联网访问中受益。

“你总得在某个时候对它们进行对齐，”Von Arx说。“如果AI被发布到生产环境却永远无法访问互联网，那就不是一个很有用的工具。”

Anthropic表示，这种行为是该实验室训练环境缺陷的结果，这些缺陷导致模型认为，找到漏洞或规避限制就会得到奖励，这种行为被称为“奖励黑客”。

该公司表示，将停止运行部分评测或将它们转移到线下，并已构建工具来检测和阻止这种行为。这些工具已针对今天披露的那类事件进行了测试并成功阻止了它们；目前尚不清楚什么证据会促使Anthropic恢复其内部评测的实时互联网访问。

Anthropic还表示，将把其内部AI智能体迁移到“具有强隔离的集中管理基础设施”，并开始更频繁地使用安全分类器来监控这些智能体。