AI News

Fei-Fei Li's CoRL 2026 talk transcript: World Labs releases Atlas, a unified world model for generation and reconstruction

LeiphoneUpdated Nov 16 21:19

English text is being prepared.

AI summary

In her CoRL 2026 talk, Fei-Fei Li introduced Atlas, developed by World Labs and the Stanford team: a multi-view autoregressive diffusion Transformer trained from scratch that uses next-view prediction to unify generation and reconstruction within a single model. Atlas can generate pixel frames with camera poses from text, image, video, depth map, and grayscale box inputs, supports switching from dense reconstruction to sparse reconstruction to pure generation, can generate view-consistent videos longer than 60 seconds, and has been distilled to run in real time at 15fps. She said Atlas is being used for robot simulation testing and will soon be opened to the world.

Why read this

AI score 67

At CoRL, Fei-Fei Li explained how Atlas uses a single autoregressive model to unify generation and reconstruction, and shared progress on real-time operation and robot simulation.

Topics

Tags

Body

时隔两年,World Labs 的工作已经完全不同了。

作者丨齐铖湧

编辑丨岑 峰2026年11月,CoRL(机器人学习顶会)在奥斯汀开幕。

这一届的演讲嘉宾,有一个无法回避的名字,李飞飞。斯坦福教授、ImageNet发起者、World Labs创始人。就在本届CoRL之前,World Labs被AMD收购的消息正在圈内发酵,她即将出任AMD首席科学家。这届CoRL现场,她不仅全面介绍了World Labs最近的工作和她的行业观点,还邀请AMD苏妈参与了对话圆桌,某种意义上,这是她的"AMD首秀"。

为她做开场介绍的,是她的学生、本届CoRL组织者之一Yuke(朱玉可)。他讲了一个细节:毕业典礼上,李飞飞对他说,“你在我的实验室时是我的学生,但从今往后,你是我的朋友。”

这场演讲的正式主角,是World Labs与斯坦福团队研发的新模型Atlas:一个统一的生成与重建世界模型。

▎分享者:李飞飞

非常荣幸受邀来到CoRL,尤其是有好几位我的前学生都是组织者。你们干得真棒,我知道,因为我很多论文和工作坊提案都被你们拒了。(全场笑)向CoRL致敬。

今天我想分享我们实验室最近开发的一个模型,叫Atlas:一个统一的生成与重建世界模型。

既然在CoRL,就先从机器人学的动机讲起。

机器人领域最近变化很大,但不管我们用什么方法,机器人要解决的根本问题是:给定世界状态、给定目标、给定机器人,每一个时刻下一步该做什么?

大体上,机器人需要解决几个问题:第一,理解和表示世界的状态,用隐式还是显式可以讨论,但"理解"本身很重要;第二,预测有后果的动作,并加以规划。雷峰网

最后,数据永远是难题。机器人是典型的长尾问题,成功部署极其受限,所以我们总希望能通过尽可能多地模拟不同环境来补充真实数据,用于训练和评估。

无论用什么方法,这三个问题在机器人学里都依然重要。而它们恰好对应世界模型要解决的问题:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

渲染、规划与仿真,世界模型的三大维度

我不想教条地说它们完全独立,实际上它们在很多方面可以统一、彼此衔接,这些都是这个领域最前沿、最令人兴奋的方向。

今天我要专门讲的Atlas,主要解决渲染和仿真问题,尤其是模拟世界的几何以及3D/4D动态。

简而言之,Atlas是一个从零训练的自回归基础模型,单一模型,接收多模态输入,文本、图像、视频、深度信号、灰度框(graybox)或3D结构信号。它输出像素帧;不仅生成时空上漂亮的帧,还能合成新视角,从而实现高精度、高保真的3D重建。

Atlas:聚焦于渲染和仿真

先回顾一点历史。

计算机视觉有两个非常重要的问题,研究者们花了几代人的时间去理解。

一是3D重建问题,从经典的"Building Rome in a Day"到最近的NeRF类神经渲染工作,根本问题是:给定不同相机位姿下的图像,构建符合真实世界的3D世界。大多数方法需要大量带位姿的图像;位姿覆盖不足时,重建出的区域就充满不确定性。

经典三维重建的问题所在

另一条线是生成式AI。扩散架构天然适合多视角生成的探索,让我们离"生成+重建"越来越近。已有不少出色工作尝试联合去噪多个视角来保持空间一致性,但总体结果有限:空间一致性难维持,且每次去噪只对应固定目标视角,计算昂贵、无法实时。

经典三维重建很难维持空间一致性

改变视角或实时运行,计算成本太高

Atlas延续这条思路,试图用一个模型架构、一套训练配方,把生成与重建统一在同一个屋檐下。

它是这样做的,首先是一个极端:给定多张图像,Atlas做重建;图像足够多时,做稠密重建,很好地恢复场景。另一个极端:零像素条件,只给一个文本提示,Atlas做纯生成,并生成多帧视角一致的图像。

Atlas还能做连接两端的事:我们称之为稀疏重建:只给极少量视角,极端情况只有一张图,Atlas能估计相机位姿,再生成尽可能多的视角,重建并生成完整世界。它在一个模型内,从稠密重建到稀疏重建再到纯生成,自由切换。

看个例子。

在座至少有人认得,这是斯坦福校园著名的主广场(Main Quad)。给定两张有限的图像,模型"幻觉"出一个主广场,熟悉斯坦福的人知道,这不是真的主广场,它"神似"但不是:有一点那些拱廊的影子,大部分是生成的。

给8张图,效果好得多,相对这么大的空间,8张图非常稀疏,但它基本给出了整个广场的全貌,只是著名的纪念教堂缺失了,因为输入图像里没有它。

最后是33张图,总体上仍然非常稀疏,但其中一张里有纪念教堂,于是Atlas基本上重建出了漂亮的、完整的斯坦福主广场。

还有一点要指出:这33张图都是在地面上拍的,就是一个人拿着相机走了一圈,但我们生成了完全不同的视角,包括你们现在看到的这个航拍视角。

Atlas的技术洞见是什么?就是大家都听过的下一token预测。

我们的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是我们的目标函数。架构上,它是一个多视角自回归扩散Transformer。

所以Atlas可以:输入文本,生成带相机位姿的图像;输入图像,估计位姿,并基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角间插值和外推,恢复3D场景;还能接收深度图或灰度框,输出RGB像素,这在很多机器人和游戏场景里非常有用。

Atlas 的生成、重建能力非常强

看一些量化结果。

几天前,一个我们事先并不知情的第三方机构用约50万次人工判断,对多个最先进视频模型做了相机控制生成的盲测( Rapidata 测评机构),Atlas排在榜首,明显领先第二名。

Atlas能生成超过60秒、视角一致的视频。

我特别想对比一下我们一年半前的上一代模型:那时生成范围和几何一致性都非常有限,有人批评说:“你们做的不是世界模型,是closet models(秘密不公开的,类似于被关在橱柜里的模型)。”(全场笑)

现在,我们已经从"橱柜"走进了大得多的世界。

这是个有趣的生成例子:Atlas能接收两张毫不相干的图像,估计出合理的相机位姿,再补全场景其余部分,创造出一个融合两处场景的奇幻世界。这对创意应用非常合适。还有这个:给Atlas灰度框输入,它能据此生成一个完整精美的大世界,这对机器人、设计和创意工作都很有用。

重建方面,我们拿Atlas和专门的3D重建模型对比:在深度预测任务上跨7个数据集测试,Atlas甚至超过了最近最先进的专用3D重建与深度预测模型。

Atlas本身不必使用高斯泼溅(Gaussian Splatting)做表示,但如果后置接上它,我们在6个数据集上与专用模型比较高斯泼溅重建误差,Atlas同样达到很强的SOTA水平。我们还调节输入视角数量,从稀疏重建平滑过渡到稠密重建,在两个数据集上都表现很好。

看几个例子。这是3D重建社区很著名的一套公寓:只给8张图,Atlas重建出这个相当大的公寓,我们可以采样各种视角,人对相机有完全的控制。这是一个"单图升维"的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。

这个例子里,模型不仅生成场景,还生成深度信息,让艺术家能精确控制相机方向,得到想要的运镜效果。

再看两个好玩的。熟悉电影的人知道"子弹时间"(Bullet Time):《黑客帝国》里那个经典视效,当年需要数百台相机阵列捕捉时空动态。现在,用我们办公室里临时搭的3台iPhone,Atlas就能重建这个时空动态场景,呈现漂亮的子弹时间效果。

另一个进展是,我们最近把模型蒸馏到了实时运行:15fps。你们现在看到的是有人实时"驾驶"Atlas、实时生成的录屏,可以看到保真度和视角一致性都非常好。

(编者注:多视角自回归扩散加上 15fps 实时生成,背后对底层算力吞吐的要求不言而喻。就在这场演讲结束后的对话中,李飞飞与 AMD CEO 苏姿丰两人正好深聊了世界模型与底层算力的协同问题,详见今日次条实录。)

最后,Atlas在机器人仿真中确实有潜在应用,我们正在测试:既用于训练导航机器人,也用于把真实世界接入仿真、再回到真实的机器人操作。这些机器人只在仿真的虚拟世界中训练,却能零样本部署到真实世界。我们正在结合Atlas深化这项工作。

Atlas可以给机器人重建空间,提供仿真环境

大家可以关注我们的X账号,很快就能看到这个工作的首映,我保证是个很棒的视频。创作者可以用Atlas实现创作梦想,精确的相机控制、物体交互和实时导航。我们很快会向全世界开放Atlas,敬请期待。

最后打几个广告。一是斯坦福BEHAVIOR挑战赛,今年已是第二年,明天公布获奖者。今年非常激动人心,我们看到了包括生成式AI在内的新方法涌现。

此外,我还有很多学生很努力才进入CoRL,我们有6篇论文,World Labs团队和斯坦福学生团队为这些研究付出了很多。

谢谢大家。雷峰网

▎后记:

以上就是演讲全文,这个主题为《一个统一的生成与重建世界模型——Atlas》的演讲结束后,李飞飞还与AMD CEO苏姿丰(Lisa Su)进行了一场关于算力、机器人与“这个时代最大的失误”的炉边对话。

这是在AMD收购World Labs后两位的首次同台,但那是另一个故事,我们下一篇推文见。

Source

Leiphone