2026年11月5日使用Atlas进行交互式世界探索。

Frameboy:实时运行的Atlas

两个月前,我们推出了 Atlas,这是一个自回归世界模型,能够逐帧生成画面,并实现像素级精确的相机控制。

今天,我们发布了一项研究预览,让你能够 使用Frameboy实时探索Atlas生成的世界 Frameboy,这是一个演示,可在你控制相机时以最高 15 fps 的速度将云端 GPU 上的帧流式传输到你的浏览器。Frameboy 提供的是 Atlas 的一个变体,该变体经过高度优化,可在保持出色生成式新视角合成能力的同时,实现尽可能最快、最高效的推理。我们还将这一实时功能集成到了 Viewfinder中,这是一个网页应用,让你可以用 Atlas 逐帧搭建自己的场景,然后通过流式 Frameboy 叠加层实时探索这些场景。

为什么速度很重要

Atlas 是一个世界模型,可用于探索由单张图像定义的想象 3D 世界,或穿行于从少量不同视角拍摄的真实世界环境。借助 Atlas,你可以探索著名地标、为电影拍摄勘察虚拟视角、检查建筑工地的进度、细化 3D 电子游戏关卡的概念,或为机器人模拟一个可供穿行的环境。

一个会显著影响用户与 Atlas 交互方式的关键因素是 速度. 如果用户必须等待数十秒甚至数分钟才能看到 Atlas 生成的视频,就会迫使他们在搭建场景和规划相机路径时谨慎而有条不紊,从而限制他们的迭代周期,并影响他们精准达成理想结果的能力。

相比之下,如果 Atlas 能以更具交互性的速度生成输出,用户就能快速、迭代地对输入做出反应和调整。当“坏主意”的成本接近于零时,就不存在坏主意——曾经的昂贵错误或失误,如今只是探索。

同一间客厅的两个视角。手动迭代:用户在房间中点击放置四个关键点相机,按下生成并等待渲染视频返回,然后拖动一个关键点并再次等待,如此再重复两次。实时交互:用户驱动相机在房间中移动,其视图持续更新。

使用缓慢的生成模型进行手动迭代,需要谨慎而周密的提示,带来很高的认知负荷。相比之下,与实时模型交互则允许快速、直观的探索。

一旦延迟和成本降到足够低,用户甚至不再感知到“生成”这一离散行为——模型可以在用户浏览场景时直接持续流式返回帧。在围绕 Atlas 的实时变体构建了初始原型之后,我们意识到,以这种方式与模型交互,会带来与手动触发帧生成完全不同的体验。

Frameboy:实时运行的 Atlas

去年,我们发布了一项研究预览,名为 RTFM, 这是一个高效且轻量的帧生成模型。Atlas 借鉴了 RTFM 的概念并对其进行了扩展,因此我们受到启发,以这一熟悉的形态重新审视并制作了一个新的演示,比以往更大、更好。

与RTFM相比,Atlas是一个规模大得多的模型,训练数据量高出数个数量级。RTFM主要设计用于在既有的一组视点之间进行插值,而Atlas则能够从零开始生成场景,所需上下文可以少到仅一张输入图像或一段文本描述。

这些场景中的每一个都以单张输入图像为种子——Atlas生成了额外的一组视点来塑造场景的其余部分,而将这些视点放入Frameboy的空间上下文中,我们便能进行交互式探索。

Atlas还保留并改进了RTFM从一组图像中进行新视角合成的能力。这意味着你可以使用Frameboy演示来在真实世界场景中漫游,例如这些著名地标。

通过使用真实世界地点的多视角捕捉作为输入,我们可以重访这些可辨认的场景。

Viewfinder:搭建并探索你自己的世界

我们设想这样一个未来:像Atlas这样的模型能够作为强大的生成式渲染器,从直观、易于指定的输入(例如一组图像)出发,交互式地搭建并可视化丰富而复杂的三维世界。为展示这一愿景,我们还将这一实时能力作为流式叠加渲染模式集成到了我们的网页应用中, Viewfinder 将Atlas封装其中。

(Viewfinder 目前处于封闭测试阶段,可供试用;你可以注册加入我们的等候名单。 。现在,在 Viewfinder 中搭建的任何场景都可以用作流式实时 Frameboy 会话的输入。Frameboy 让用户可以探索一组精选场景,而 Viewfinder 则更进一步:它允许用户从自己的输入出发逐帧搭建场景,像使用虚拟相机一样在不同相机角度下环游并生成其世界的 3D 一致视图。每一新帧都由 Atlas 生成,包括颜色和深度,以帮助可视化 3D 空间,.)

现在,在 Viewfinder 中搭建的任何场景都可以用作流式实时 Frameboy 会话的输入。

Frameboy 让用户可以探索一组精选场景,而 Viewfinder 则更进一步:它允许用户从自己的输入出发逐帧搭建场景,像使用虚拟相机一样在不同相机角度下环游并生成其世界的 3D 一致视图。每一新帧都由 Atlas 生成,包括颜色和深度,以帮助可视化正在创建的 3D 空间。当用户准备就绪后,他们可以触发 Frameboy 叠加层,在探索过程中流式传输生成的帧。

Frameboy 目前必须在云端强大的 GPU 服务器上运行,与本地渲染方法相比并不便宜。然而,如果以历史为鉴,随着硬件和软件不断演进以满足新算法的需求,那些起步缓慢且昂贵的技术终将变得快速而廉价。我们很兴奋能继续探索这项技术的潜力,并通过我们模型的未来迭代来突破可能性的边界。