加州州长 Newsom 提议强制监管前沿 AI 并赋予政府紧急关停权
Newsom Proposes Mandatory Frontier AI Oversight and Shutdown Powers
加州州长 Gavin Newsom 于 11 月 18 日公布立法建议,拟要求大型前沿 AI 开发商接受持续独立监管,并允许州政府紧急关停存在迫近灾难性风险的模型。方案还要求开发商建立经验证的风险控制协议,将多数重大事故报告期限从 15 天缩短至 48 小时,并按季度披露自动化 AI 研发的算力分配。相关建议尚未成为法律,将供州议员于 12 月复会后制定立法时参考。
正文 · AI 翻译
加州州长 Gavin Newsom 于 2026 年 11 月 18 日公布了立法建议,拟要求大型前沿 AI 开发商接受持续的独立监管,并允许州政府官员下令紧急关停构成迫近灾难性风险的模型。
加州政府运营局于 2026 年 11 月 16 日发布的报告《2026 年及未来的 AI 安全》旨在为议员于 2026 年 12 月复会后的立法工作提供参考;其中的建议尚未成为已经实施的法定义务。该方案将在加州要求大型前沿 AI 开发商公布安全框架的现行规定基础上,进一步针对训练、内部使用和部署的全过程设定州级安全、安保和透明度基准。
持续独立监管
所有大型前沿 AI 开发商都将持续接受持牌独立核验机构(IVO)的监管。这些机构将把州政府的标准转化为技术测试,并随着 AI 评估方法的变化对测试进行更新。它们还将获准访问其认为必要的模型、人员、系统、训练环境和记录,随后向州政府提交未经删节的评估报告。
政府运营局将负责向 IVO 发放执照,并可因专业能力、独立性或严谨性不足而吊销执照。如果评估机构无法确认开发商符合相关标准,州政府可在与该公司沟通后下令采取纠正措施。除快速紧急程序外,开发商可在此类决定生效前向法院提出异议。
对开发商支付的核验费用征收附加费,将有助于为公共运营的 CalCompute 算力提供资金。其中一部分算力将预留用于独立的安全与安保研究以及公共监管,从而将由行业出资的附加费与外部审查所需的基础设施联系起来。
风险控制与紧急权力
每家大型前沿 AI 开发商都须维护一套风险控制协议,由 IVO 持续进行测试和核验,并由公司高级管理人员证明其有效性。所要求的控制能力将涵盖算力、智能体、内部访问和模型部署,而非依赖单一的开关。协议须明确责任人员,与云服务提供商和电力供应商进行协调,并规定何时可以安全恢复模型运行。
测试将涵盖可能导致关停失败的各种情形,包括模型复制自身权重以阻碍控制,或外部行为者获得关停控制权限。对于开放权重开发商,控制和关停要求将仅适用于由其控制的部署,因为他们无法关停由他人托管的模型副本。
如果州政府官员有可信理由认为存在迫近的灾难性风险或重大失控事件,而开发商拒绝控制危险,他们可以下令立即关停。该命令须采取可行范围内最有限的干预措施,立即生效,并在司法审查期间持续有效,但开发商可以申请临时限制令。当危险不再迫近时,该命令将被解除。
报告制度将涵盖未造成人员死亡或身体伤害的模型权重盗窃未遂事件、所有内部或外部失控事件,以及一个新的险情报告渠道。报告建议将大多数重大事件的报告期限从 15 天缩短至 48 小时,同时保留对迫近灾难性风险须在 24 小时内报告的要求。举报人保护范围将扩大至前员工和承包商。
即使训练所使用的整数或浮点运算少于 10^26 次,只要模型能够实施可能造成灾难性风险的行为,在事故报告方面就会被视为前沿模型。这一基于能力的触发标准旨在回应报告提出的担忧:仅依赖训练规模,已经导致一些危险事件未被纳入州政府的报告要求。
将 AI 研发自动化的公司须每季度报告其算力如何分配于训练、研究实验、AI 研究智能体的推理、安全与安保工作、外部客户以及无法归因的活动,并由 IVO 核验这些分类。其他披露内容还将包括训练数据的规模、成本、主题领域以及数据源自人类还是 AI,还包括在强化学习环境中用于训练模型的推理算力、已知受到奖励的不当行为及所采取的缓解措施。报告称,这些措施将显示 AI 是否正更多地接管自身的开发工作,以及安全投入能否跟上这一进程。
递归式自我改进(RSI)的最强形式是 AI 系统在无人类参与的情况下独立开发其后继系统。对此,政府将拥有备用限额权,而非立即实施限制。当自动化 AI 研究超出开发商承诺的阈值,或其进展速度快于保障措施和评估能力,从而造成灾难性损害的重大风险时,官员可以施加有时限并定期审查的限额。在 IVO 核实已采取充分保障措施后,该限额将被解除。
这些建议回应了 Newsom 于 2026 年 9 月 18 日签署的有关独立监管和 AI 紧急关停开关的行政命令。该命令要求专家在两个月内提出方案,并加快实施加州有关独立核验和 AI 审计机构的法律。政府运营局与加州紧急事务办公室及外部顾问 Jason Goldman、Gillian Hadfield、Alondra Nelson 和 Rob Reich 共同编制了这份报告。
对开发商而言,合规要求将不止于公布安全政策,还将延伸至持续接受外部审查、更快报告事故,以及证明其具备关停能力。该提案给立法者留下了两个相互关联的决定:应授予多大的干预权,以及在持证核验行业仍处于发展阶段之际,如何让持续监管真正投入运作。
AI 热点