Anthropic 与 OpenAI 就加州前沿 AI 监管提出不同方案

OpenAI 与 Anthropic 都认为前沿 AI 系统需要更严格的监管，但它们在如何阻止构成严重风险的模型方面提出了截然不同的方案：Anthropic 希望赋予法院暂停危险系统的权力，而 OpenAI 则主张应要求开发者维持并使用有效的关停控制措施。

这些建议分别出现在两家公司提交给加利福尼亚州州长加文·纽森（Gavin Newsom）的文件中。此前，纽森于9月18日发布行政命令，指示州官员考虑对前沿 AI 系统采取更多保障措施。两家公司都支持独立安全评估，并支持扩大对 AI 系统超出其预期权限行事的相关事件的报告。

Anthropic 在其10月15日提交的文件中写道：“如果总检察长在独立评估的基础上认定，某家前沿 AI 公司的模型构成近期的灾难性危害风险，就应当能够申请法院命令，暂停该模型的部署、内部使用或进一步开发。”

OpenAI 在其10月20日的信函中呼吁修订加州参议院第53号法案（SB 53）。

OpenAI 写道：“我们支持修订 SB 53，要求前沿开发者维持有效的关停控制措施，并承担在出现不安全状况时使用这些措施的可执行义务，任何更弱的干预措施都不足以应对这一风险。”

Greyhound Research 首席分析师桑奇特·维尔·戈吉亚（Sanchit Vir Gogia）表示，这两种方案针对的是互补的需求。“运营方必须及时遏制不安全活动。独立审查必须同时考察干预措施和不作为，”他说。

纽森的第N-9-26号行政命令指示加州政府运营局与州长紧急服务办公室及全国专家协商，于11月16日前就现行AI安全法律的潜在修订提交建议。该命令要求官员审查AI实验室内部的独立验证、安全评估的独立核查、经验证的关停机制，以及扩大对重大安全事件的报告。该命令本身并不强制实施这些拟议要求。

独立验证

Anthropic希望评估方评估开发者的安全声明并发布其自身调查结果。

该公司写道：“我们强烈支持要求对前沿AI公司就其模型风险及这些风险是否得到充分缓解所报告的内容进行独立验证。”

它提议要求开发者至少每六个月发布一次风险报告，涵盖其模型带来的严重风险，包括内部使用且风险显著高于已发布系统的模型。评估方应获得未经删节的报告，并能访问开发者最强大的模型和相关内部信息。

Anthropic还提议，开发者应向州管理的联合基金缴费以资助评估方，而不是直接向评估方付费。该公司表示，独立评估机构METR的一个团队已在试点基础上获得了类似员工的访问权限，与SecureBio和埃森哲的进一步合作正在筹备中。

OpenAI在其信函中表示，它支持独立的技术评估，但将其与合规审计区分开来。它补充说，技术评估将审查开发者安全声明背后的证据以及保障措施的有效性；合规审计则将检查企业是否遵守其已发布的安全框架和法律义务。

OpenAI建议进行年度独立合规审计，并针对模型训练、评估和内部部署过程中出现的严重风险开展有针对性的技术评估。它还敦促加州与美国国家标准与技术研究院合作，制定共同的评估标准。

戈吉亚表示，监督所需的不仅仅是资金。“可信的保证必须能够经受住不利调查结果的考验，”他说。

不止一个开关

OpenAI认为，单一关停开关无法应对AI系统运行和部署的不同方式。

该公司在信中写道：“我们建议使用‘关停控制’这一术语，因为这将需要开发多种控制措施，并由不同主体协调行动，以便在必要时停止AI运营，而不是依靠单一开关。”

干预措施可能包括停止训练运行、隔离AI代理、撤销工具或网络访问权限，或暂停某项服务。OpenAI表示，责任应根据各主体所控制的操作，延伸至推理提供商和下游部署者。它还指出，开发者无法可靠地关闭在外部系统上运行的开放权重模型的独立运营副本。

Anthropic同样主张采取更有针对性的保障措施。该公司写道：“我们认为，对前沿AI公司需要构建的东西而言，更贴切的比喻是断路器。”它主张采取能够在代理、客户、部署环境或模型层面控制问题的管控措施。

Gogia表示，对企业而言，合同中的关停责任应与各方实际拥有的控制权相匹配。协议应明确干预权限、事件报告协作，以及谁有权授权重启。

“每一项被分配的义务都需要有可执行的管控措施与之对应，”他说，并补充道，CIO们应测试恢复流程，而不是想当然地认为切换到替代模型就能维持安全运营。两家公司还呼吁更广泛地报告涉及模型规避保障措施或采取未经授权行动的事件。