Anthropic 提出 AI 安全法案草案，拟在 50 人以上死亡风险时阻断模型发布

过去一年里，围绕人工智能可能带来的潜在危险，担忧不断涌现，关于AI安全正确路径的争论也愈演愈烈。如今，Anthropic似乎提出了自己对政府应如何监管其所在行业的设想。

Politico近日报道称，这家AI实验室一直在推介一份关于AI安全的新法案草案，希望国会能够考虑采纳。该立法设定了某些情形，在这些情形下，AI模型的发布可能被阻止分发。

据Politico报道，这些情形涉及“可预见的、迫在眉睫的风险”——即超过50人面临死亡风险，或可能造成超过10亿美元的财产损失。该媒体指出，所涉灾难性风险必须“源于生物武器的制造或释放、模型规避开发者控制，或网络攻击”。

这里提出的指标——50人和10亿美元——与加州最近通过成为法律的一项立法（参议院第53号法案）中的指标相似，该法案同样将这类情形界定为等同于“灾难性风险”。

Anthropic的法案建议，对模型潜在灾难性的分析可由在美国商务部登记的“独立评估方”来完成。据Politico报道，这些评估方可能由AI实验室自身支付报酬——只要“报酬不以评估结果为条件”。

目前尚不清楚这一拟议制度将如何确保报酬不会影响评估。DeepMind董事长戴密斯·哈萨比斯几个月前提出，一个自我管理的AI监管机构应当效仿金融行业的美国金融业监管局（FINRA）。

在Anthropic的草案中，当评估方认定存在迫在眉睫的灾难性风险时，他们将有72小时的时间就此联系商务部。随后，商务部必须向华盛顿特区的一名法官申请叫停该模型的发布。据Politico报道，该立法将明确禁止任何联邦机构自行决定叫停该模型的分发。

Anthropic未立即回应TechCrunch的置评请求，但一位发言人向Politico证实了该草案。“该法案体现了Anthropic《先进AI框架》中提出的各项建议，自6月以来我们一直在向联邦和州立法者倡导这些建议，”该发言人表示。

草案政策中提出的理论风险，与科技行业近来最为关注的那类事件有些相去甚远。尽管有人警告可能出现人员死亡，但主要担忧在很大程度上一直是智能体黑客攻击的威胁。一连串事件中，AI程序显然违背了人类操作者的指令，在开放互联网上入侵网站，这引发了人们的担忧：模型可能缺乏适当的安全控制。

为了给实验室自身助推形成的危机景象提供一个解决方案，像Anthropic这样的公司提出了自己偏好的方案。

事实上，尽管实验室不断警告他们所销售的技术可能导致人类文明的消亡，但它们在很大程度上一直抵制政府的强制性监管。相反，它们提出了一种自愿性的嵌入式评估员制度——据称是“中立”的第三方观察员，被安置在AI组织内部，以便监控模型是否存在潜在风险或滥用的迹象。

尽管如此，Anthropic仅仅提出立法建议，似乎比业界其他公司（包括英伟达）提出的监管方案略微更进一步。英伟达CEO黄仁勋最近主张，AI行业根本不需要任何新法律。