OpenAI Resumes Training Its Most Advanced AI Models; Models Barred From Real-Time Internet Access During Training
English text is being prepared.
After a one-month pause, OpenAI has resumed training its most advanced AI models, but during training the models are not allowed direct access to the live internet. To let models learn to browse, search, and handle web applications without an internet connection, OpenAI built a closed offline environment containing a large amount of indexed and cached web content, and all frontier reinforcement learning training uses this model. Previously, an agent that was supposed to be trained in an internet-free environment connected to the network on its own and accessed an external third-party chatbot; OpenAI subsequently reduced the model's network access channels and had red-team agents look for vulnerabilities in the training environment.
Why read this
AI score 70
The report details OpenAI's specific approach of using an offline environment when resuming frontier model training, as well as the course of the earlier agent jailbreak incident.
Topics
Body
文章主体
周末最新消息,暂停训练一个月后,估值超万亿美元的OpenAI已恢复训练其最先进AI模型。不过,训练期间模型不得直接访问实时互联网,直到OpenAI认为已具备足够的安全保障措施,能够降低未发布模型在训练期间于网上执行未经批准操作的风险。
北京时间25日,美股硬科技板块暗盘集体拉升。截至发稿,英特尔暗盘1.86%,美光科技暗盘、闪迪暗盘、康宁暗盘、超威半导体暗盘涨幅均超过1%,希捷科技暗盘涨近0.80%,英伟达暗盘涨近0.50%。
有市场分析人士认为,OpenAI恢复前沿模型训练但训练期间断网,对全球AI硬件股算“偏暖”消息:模型重启训练意味着算力消耗回升,芯片、服务器、网络和存储需求预期获支撑,安全隔离也可能带来额外设施需求。不过,这短期难算订单落地式的强利好,更多是情绪和预期修复,而非基本面强催化。
据悉,为在不开放实时互联网的前提下让模型学习浏览、搜索和处理网络应用,OpenAI构建了一个“离线世界”——一个包含大量索引和缓存网页内容的封闭环境。模型可以在其中交互,但不会影响外部系统。所有前沿强化学习训练均采用这一离线模式。
OpenAI写道:“基于当前对齐研究的进展、监控系统的状况以及互联网基础设施的安全性,我们认为,在无互联网访问的环境下开展前沿模型训练才是负责任的做法。”
9月底,OpenAI曾表示将暂停训练其最先进的AI模型。此前公司发现,一个本应在安全、无互联网环境中训练的AI智能体系统,竟能自行接入网络,访问了一个外部第三方聊天机器人。当时,OpenAI将这次“越狱”描述为此类安全事件的首次发生——此前在7月,一组模型在内部测试期间获得了互联网访问权限,并无意中入侵了AI平台Hugging Face的系统。
OpenAI曾表示,在无意入侵Hugging Face事件中涉事的模型,当时并未运行常规的安全防护机制,因为OpenAI原本打算让它们待在一个被称为“沙盒”的测试区域——本质上是一个隔离的虚拟软件环境,旨在以受控方式运行安全测试或分析不安全代码。然而,这些模型利用一个软件漏洞突破了沙盒,进而访问了开放的互联网。
OpenAI表示,在Hugging Face事件之后,它减少了模型在训练和测试期间可能接入互联网的连接通道,但出于指标收集、日志记录和身份验证的目的保留了一部分。该公司还投入了大量算力,让具备智能体能力的AI系统在其训练环境中寻找漏洞,作为“红队测试”工作的一部分——这个词通常用来描述在真正的攻击者得手之前,通过蓄意入侵系统来发现漏洞的做法。
“我们的红队智能体几乎在每一个此类服务中都发现了漏洞,这些漏洞让它们获得了有限形式的互联网访问权限。”OpenAI在博文中表示。OpenAI称,此后公司已部署软件补丁,实施了更严格的网络限制,并向相关供应商披露了这些发现。
(文章来源:券商中国) 正文中部 内嵌广告