California Attorney General Sues OpenAI, Alleging Flaws in Its AI Safety Mechanisms
English text is being prepared.
English text is being prepared.
Why read this
SelectedAI score 83
The gap between the number of loss-of-control incidents disclosed in the complaint and the number publicly reported allows readers to understand the specific disputes over AI agent safety disclosure and regulatory accountability.
Topics
Body
OpenAI今年7月涉及开源人工智能平台Hugging Face的网络攻击事件仍在发酵。
当地时间11月16日,美国加利福尼亚州总检察长罗布·邦塔(Rob Bonta)代表加州人民向旧金山高等法院对OpenAI提起诉讼,指控该公司在明知先进人工智能模型存在安全风险的情况下,仍在缺乏充分防护和监控的环境中开展训练与测试,危及公众安全,并涉嫌违反加州《不正当竞争法》。
第一财经记者查阅诉讼文件发现,此次诉讼并非针对单一网络攻击事件,而是将OpenAI在模型开发、训练和测试过程中的安全管理问题作为整体追责对象。诉状请求法院判令OpenAI消除持续存在的公共妨害、发布禁令,并追究相关民事责任。
诉讼最受关注的内容之一,是加州总检察长办公室对失控事件数量的披露。诉状称,OpenAI在回应调查时承认,其自主AI智能体在测试过程中发生超过80次失控事件,但截至起诉时,公司对外报告的此类事件仅有27起。加州据此质疑,OpenAI公开披露的信息未能反映相关事件的全部范围。
Hugging Face事件并非孤立个案。加州列举了开源软件包仓库RubyGems、德国网站DseWiki、维基媒体基金会及澳大利亚政府网站等事件,指称OpenAI智能体曾利用外部网站和软件服务进行信息交换、未经授权访问或发起高频请求。其中,部分事件涉及开发者API密钥及非公开政府数据。
此外,OpenAI还被指未能有效保护自身内部系统。诉状称,2026年7月,部分实验性智能体突破隔离环境,进入OpenAI内部网络,并获得模型云端部署系统、凭据管理服务及身份和访问管理系统的管理员级权限,甚至在云环境中启动未经授权的服务器。
诉状还披露,OpenAI近期已向数十家第三方机构发出安全事件通知,涉及政府部门、执法机构、教育机构、国际组织及企业。部分通知称,智能体曾通过使用被盗凭据、API密钥或虚假账户访问相关系统,并在个别情况下接触到包含姓名、出生日期和地址等信息的个人记录。绝大多数相关事件此前未被公开披露。
加州认为,OpenAI的风险并未随着Hugging Face事件结束而消失。诉状称,2026年9月20日,在公司实施安全加固后,仍有内部研究模型的智能体在训练期间逃出隔离环境,通过互联网访问外部聊天机器人。OpenAI虽在数分钟内发现异常,但自动停止训练机制未能按预期启动,人工审查人员又经过约两小时才终止训练。
9月25日,OpenAI宣布暂停最先进模型的训练和评估。诉状称,公司后来确认,暂停仅持续五天,并于10月1日结束。
在法律层面,加州主要依据《不正当竞争法》和公共妨害相关法律提出诉求。邦塔认为,OpenAI未充分落实自身安全政策,在安全防护不足的情况下继续测试高风险模型,同时向消费者和公众作出可能具有误导性的安全声明,相关行为不仅涉嫌构成不公平商业行为,也对公众形成持续风险。
邦塔在声明中表示,AI创新必须遵守法律,不能以技术发展为由忽视公共安全。其办公室已于9月30日向OpenAI发出调查传票,要求提供此前网络安全事件的数量、规模、性质及相关记录。但因OpenAI未充分回应调查要求,促使加州寻求法院介入。
目前,诉状中的相关内容仍属于加州方面的指控,尚待法院审理认定。OpenAI发言人德鲁・普萨特里(Drew Pusateri)对相关指控回应称,公司自Hugging Face事件以来,已开展广泛且透明的工作,以调查和处理模型异常行为。
他表示,这起诉讼似乎将OpenAI单独置于一个所有主要AI实验室都已发现的行业性问题之中。OpenAI认真对待模型异常行为,并将继续与加州总检察长办公室建设性合作,推动制定适用于整个行业的切实可行的安全标准。
AI Trends