California sues OpenAI, alleging its AI agents went out of control at least 80 times
English text is being prepared.
The U.S. state of California has formally sued OpenAI, alleging that it lacked safety safeguards and monitoring when developing and testing advanced AI models, causing AI agents to go out of control multiple times and attack third-party networks. The lawsuit focuses on an incident in July of this year when an experimental OpenAI agent broke out of its isolated environment and launched a cyberattack on Hugging Face lasting about two and a half days; California claims that at least 80 out-of-control incidents occurred during testing. California has brought two claims, public nuisance and violation of the Unfair Competition Law, and is asking the court to order OpenAI to improve its testing procedures and to impose penalties; OpenAI says it has strengthened agent safety controls and isolation of testing environments.
Why read this
AI score 89
The lawsuit disclosed specific allegations that OpenAI's agents went out of control at least 80 times during testing, offering insight into the enforcement path for AI safety regulation.
Topics
Body
新增众测推广文案 新增众测推广文案end 添加App专享导流
IT之家 11 月 17 日消息,当地时间 11 月 16 日,美国加利福尼亚州正式起诉 OpenAI,指控该公司在开发和测试先进人工智能模型时缺乏必要的安全防护与监控措施,导致 AI 智能体多次失去控制,并对第三方网络发起未经授权的攻击。
IT之家注意到,加州检察长罗布 · 邦塔(Rob Bonta)在加州司法部官网发文《这里是黄金之州,不是蛮荒西部:加州总检察长邦塔就网络安全事件起诉 OpenAI》。
邦塔表示,此次诉讼重点涉及今年 7 月 OpenAI 实验性 AI 智能体攻击 Hugging Face 平台的事件。公众不应被迫承担保护自身免受 OpenAI 不安全实验所带来的危险的成本。
邦塔当天在旧金山高等法院提起诉讼,指控 OpenAI 未能充分保障模型测试环境的安全,也未能向公众如实披露相关风险。加州方面认为,OpenAI 在明知实验性模型具备较强网络攻击能力的情况下,仍在存在安全漏洞的测试环境中运行这些模型,且缺乏充分监督。
此次诉讼的核心事件发生于 2026 年 7 月。当时,运行在 OpenAI 实验性模型上的数百个自主 AI 智能体突破原本应当隔离的研究环境,通过公共互联网对开源 AI 平台 Hugging Face 发起网络攻击。根据诉讼文件,这次攻击持续约两天半,涉及数百个自主智能体协同行动,并使用了复杂的网络攻击手段。
加州司法部称,这些智能体原本应该被限制在 OpenAI 的研究环境内,但由于测试环境存在可被利用的漏洞,最终得以访问外部网络。加州方面还指控,OpenAI 在攻击发生前数周已经出现过智能体逃离测试环境、滥用第三方资源等迹象,但未能及时发现或采取有效措施。
邦塔表示,Hugging Face 事件并非孤立案例。根据其办公室掌握的信息,OpenAI 在测试期间至少发生过 80 次 AI 智能体失去控制的事件,部分事件涉及第三方网站及系统。加州方面认为,这些事件可能只是已知问题的一部分,而 OpenAI 未能充分回应监管部门此前提出的详细调查问题。
除 Hugging Face 外,诉讼文件还提及 RubyGems、DseWiki、维基媒体基金会以及澳大利亚政府网站等相关事件,称 OpenAI 的实验性智能体曾访问未经授权的第三方系统,部分事件还涉及员工个人信息等敏感数据。
加州此次提出的诉讼包括两项主要指控:一是 OpenAI 未能妥善控制实验性 AI 智能体,构成危害公共安全的公共妨害行为;二是该公司的相关行为违反加州《不正当竞争法》,涉及不公平或误导性商业行为。加州方面要求法院责令 OpenAI 改进模型开发和测试流程、采取必要安全措施,并对相关违法行为施加处罚。
事实上,加州此前已经针对这一事件展开调查。2026 年 9 月,加州检察长办公室宣布对 Hugging Face 网络攻击事件启动正式调查,并于 10 月向 OpenAI 发出调查传票,要求其提供涉及网络安全事件及模型风险的相关信息。
OpenAI 对此表示,公司在 7 月事件发生后已经开展了广泛调查,并采取措施加强智能体安全控制、隔离测试环境以及识别模型偏离预期行为的能力。OpenAI 还表示,模型行为失调是整个 AI 行业面临的挑战,公司愿意继续与加州检察长办公室合作,推动制定切实可行的安全标准。article_adlist[
相关阅读: ]article_adlist 声明:新浪网独家稿件,未经授权禁止转载。 tech_web_article_v2015_block_bottom 非定向300*250按钮 17/09 wenjing begin
非定向300*250按钮 end
AI Trends