清华团队提出 PPMem：用平面基元为 AI 视频世界模型建立持久记忆

今年三月，我们曾探讨过生成式AI视频在记住它所见过的物体和地点方面存在的困难——它需要能够再次重现这些内容，并保持视觉一致性。

这一问题带来的实际后果是：你可能在AI世界模型中穿过一扇门，十秒后转身，却发现你刚才穿过的那扇门已经不存在了。

这并非一个可以轻易修复的小故障：由于生成式AI视频在不断“发明”它必须应对的“下一件事”，它实际上无法记住太久远之前的内容，也无法记住任何已从其狭窄上下文窗口中过期的内容。

这意味着，探索一个经过训练的AI世界模型，并不像探索一个建模好的CGI环境——后者的纹理和几何形状是固定的，并以矢量和位图数据的形式保存；相反，它更像是在一场由近似概率构成的梦境中行走——你可能会两次遇到完全相同的事物，但这只是因为它是通过上下文从潜在空间中第二次被召唤出来的，而不是因为模型真的记得自己创造过或见过它。

因此，一般的生成式AI视频世界模型类似于患有顺行性遗忘症的人：此类患者在脑部事件（如中风或受伤）之前的事情全部记得，但自事件发生之后便无法形成新的记忆（克里斯托弗·诺兰2000年的电影《记忆碎片》中盖·皮尔斯饰演的角色所患的正是这种病症，该角色出现在本文主图中）。

由此可见，视频模型对许多领域保有深刻而根深蒂固的理解，却缺乏记住任何新事物的能力。

面包屑轨迹

我们三月探讨过的HyDRA方案，基于使用一个由压缩视觉令牌构成的“记忆库”，使AI生成的角色能够移出画面，并以初次出现时的样貌返回。

还有其他一些方法也采用这种“面包屑”思路；然而，生成并留下复杂的三维几何体虽然解决了问题，却要以文件大小、响应速度、延迟以及其他潜在瓶颈为代价。

这些“三维接地世界模型”包括NVIDIA主导的Gen3C，其HyDRA方案采用了解决这一特定问题最典型的方法——将它“看到”的内容转化为点云，而点云本质上是精简过的三维几何体：

点击播放。HyDRA方案使用持久的3D点云缓存来引导视频生成，在相机移动、先前见过的区域重新出现时保持场景一致性。来源

还有其他类似的方法，例如牛津大学2025年的VMEM，以及同一时期由斯坦福大学主导的SPMem合作项目：

点击播放。来自斯坦福大学主导的SPMem合作项目，它将静态场景的持久3D地图与用于表现运动的近期视频帧、以及用于呈现视觉细节的选定较早帧相结合，帮助模型在重访某地时记住该地点。来源

但所有三维几何体都是繁重的工作，对推理要求也很高。要在一个环境中四处走动并像CG艺术家那样不断“构建”它，并不容易。此外，任何其他片段、视角或镜头之后都必须能够引用所创建的几何体，这是一个颇具挑战性的命题。

更轻量的方案

最新加入“AI视频记忆”研究行列的，是由清华大学牵头的一项新合作，题为《面向视频世界模型的持久平面记忆》：

点击播放。来自清华大学主导的PPMem项目网站的系统运行示例。PPMem用一组更紧凑的平面表面取代了此前SPMem项目所使用的体积3D记忆，在相机移动时更新并复用这些平面，以保持先前所见环境的一致性。来源

如上面的视频片段所示*，PPMem通过使用更紧凑的三维环境表示改进了此前的方法。该系统不再存储数百万个单独的点来重建先前所见的环境，而是识别墙壁、地板和家具等平面表面，并将其存储为可复用的几何平面，称为平面基元；随着环境的新部分被生成，这些平面基元会被持续添加到持久局部记忆中：

PPMem在生成视频的同时构建持久3D记忆的两个示例。每个示例左侧为输入图像，下方为相机的规划路线。按从左到右的顺序先读第一行再读第二行的编号帧，可以看到相机在探索一家商店或一座花园。小尺寸的彩色插图展示了随着行程推进，所存储的3D表面如何累积，从而保留先前探索过的场景。来源

当相机返回先前的位置时，存储的平面会被投影回其视野中，引导新帧的生成，并减少必须保留和处理的空间信息量。这也有助于防止熟悉的物体和周围环境在重访之间发生变化或消失。

作者断言，使用平面基元——由数学向量定义的参数化对象——为“面包屑方法”提供了一种更灵活、更巧妙的解决方案：

“一个能够生成完整世界、而不仅仅是短片的模型，需要一种类似的、紧凑且结构化的记忆来记录它所生成的内容。平面基元是这一角色的天然候选。

“每个基元仅由7个数字参数化（一个中心深度、两个矩形范围和一个旋转四元数），它显式地表示3D几何结构，并且比逐像素表示紧凑数个数量级。”

如有必要请点击播放。由PPMem生成的平面基元轻量组合，能够在相机穿过世界模型时捕捉并保持细节以及整体几何结构。上方可视化的绿色部分在从深色映射为绿色时被保留在记忆中。

这些平面能够表示一个已探索世界的程度，自然受到记忆和其他可预见瓶颈的限制，这意味着不可能在世界中漫游数小时后再回来发现一切都保持原样；但这种“关卡式”的限制对电子游戏爱好者来说会很熟悉——他们强大但有限的本地资源往往在最受限的条件下取得最佳效果：

点击播放。在PPMem中，当相机穿行于环境时，它会留下轻量的“平面”（以绿色区域显示），这些平面表示它所看到的内容，并且如果相机再次漫游回来，它们仍会存在。

因此，在上方我们可以看到这样一个关卡被逐房间地“映射”，直到整个楼层都变绿，并且可以在更少（但并非零）需要生成更多平面的情况下自由探索。

方法

PPMem是在Wan2.2-TI2V-5B（而非HyDRA所使用的Wan2.1-T2V-1.3B）基础上开发的，这是一个50亿参数的视频扩散模型，并增加了一个改编自Plana3R的几何预测系统。现有视频主干被保留，同时引入了一条单独的处理路径，从其内部表示中提取几何信息：

PPMem视频生成与3D记忆系统的架构图。上方路径生成视频，下方路径记录可见表面的形状和位置。这些信息被添加到右侧存储的记忆中，随后用于引导下一段视频。底部的箭头显示了这些信息如何被反馈到系统中。

在两个训练阶段中的第一阶段，Wan 2.2被微调用于相机控制的视频生成，使用源图像和早期帧的投影视图来确立预期的相机运动。随后视频主干被冻结，新的几何组件被独立训练。

训练中使用了来自DL3DV和RealEstate10K的超过80,000个片段，分辨率为576×1024。参考深度信息来自MoGe-2，估计距离与VGGT生成的3D重建对齐。

因此，PPMem的平面预测系统被训练用于估计表面深度和方向，并将输出与参考几何进行校验。还对渲染表面进行了额外训练，以提高其与重建场景的一致性。

低秩适应（LoRA）被用于引入几何专用处理，而不修改底层视频模型。

在推理过程中，正常的视频生成过程在禁用这些适应的情况下完成，然后执行单独的处理过程来提取几何信息，使这两项操作基本保持独立。

随后视频以约25帧为一段生成，预期的相机运动用于准备每个新序列所需的视觉和空间信息。这包括先前生成场景的投影视图；指示哪些区域可见的掩码；以及从累积几何中导出的深度信息。

为了改进新表面的预测，存储的深度信息随后与模型对场景的现有理解相结合，使用基于DINOv2-Base的视觉变换器。

在训练期间，通过选择性掩码保留部分深度图，要求模型从不完整的空间数据中预测表面几何，并提高泛化能力。

生成新几何后，平面池通过检查重叠和被遮挡表面来精炼，当有更好的观测可用时移除不太可靠的估计。这使存储的表示能够随着相机移动而逐步校正，而不是无限期地简单累积每个表面预测。

结果

在测试中，该方法与Gen3C、Voyager、VMEM和SPMem进行了对比，均使用其默认仓库代码和参数。

使用的指标为峰值信噪比（PSNR）；学习感知相似度指标（LPIPS）；CLIP相似度；以及DINOv2相似度（详细例外见论文）。

在第一项测试中，PPMem在DL3DV和RealEstate10K数据集上与竞争者进行了比较，视频质量在49帧和121帧的序列上评估：

PPMem、Gen3C、Voyager、VMem 和 SPMem 在 DL3DV 与 RealEstate10K 数据集上、分别针对 49 帧和 121 帧序列的视频质量对比。PPMem 在全部四项指标上取得最佳或并列最佳成绩，且其优势通常随序列变长而扩大。

对于这些结果，作者表示：

‘尽管 PPMem 使用的基座模型（Wan 2.2 5B）比 Gen3C（Cosmos 7B）和 Voyager（HunyuanVideo ∼13B）更小，但它在两个数据集和两种帧预算下的所有指标上均取得了最佳结果。’

PPMem 还测试了估计物体和表面到相机距离的能力：作者指出，在 DL3DV 的 121 帧上，其获得的深度估计比 Voyager 更准确，而 Voyager 是唯一能够同时生成视频和深度信息的竞争模型。

第二项定性测试评估了各竞争模型在相机穿越 DL3DV 场景、序列长达 300–400 帧时保持场景一致性的能力。PPMem 比竞争模型更成功地保持了先前所见环境的 appearance 和结构，且其优势随着序列延续而愈发明显：

点击播放。尽管我们只能以低于原始分辨率的版本复现结果，但我们认为视频比论文中的静态结果更能说明问题，并建议读者前往 PPMem 项目网站查看更高质量的版本。

对此作者表示：

‘PPMem 始终保持着最高的感知保真度，且差距随时间不断扩大——在 DINOv2 上最为显著，PPMem 在第 300 帧时领先次优方法约 0.27。’

Gen3C、VMem、SPMem、Voyager 和 PPMem 在 288 帧序列中六个时间点生成的视频帧与原始素材（Ground Truth）的对比。随着相机移动，PPMem 更一致地保持了花坛的外观和周围景物，而竞争方法则日益扭曲或丢失细节。

论文指出，在约 400 帧视频之后，整个已探索场景在 PPMem 中可由大约 100,000 个平面基元表示，仅占用 5MB 内存。

由于这比将同一场景以密集 3D 点云中的单个点存储要紧凑约一千倍，这篇原本可能被视为对文献中既有研究脉络的渐进式推进的论文，显然在该架构的后勤保障方面带来了实质性改进。

结论

尽管这篇新论文在目标问题的范围和参数内是一项令人兴奋的进展，但我们仍在一个范式内艰难前行：对世界模型潜在空间的随机探索会像持久泡沫一样四处喷洒几何体；这些几何体可能需要由后续场景或为后续上下文而恢复。

这种恢复操作远比摄取传统 CGI 网格和包裹纹理要混乱得多。整个方法可以说‘有些倒退’：理想情况下，AI 模型应能通过某种形式的 RAG 或查找系统检索和引用固定资产，同时保留在潜在空间中移动的灵活性和创作自由。

这要求很高，但在我看来，‘面包屑’方法确实等同于莱特兄弟之前那些奇异的解决方案。

* 完整视频请见项目网站。

首次发布于 2026 年 10 月 20 日，星期二

Martin Anderson

机器学习作者，人类图像合成领域专家。曾任 Metaphysic.ai 研究内容负责人，直至其并入 DNEG 的 Brahma.ai。

网站：martinanderson.ai

联系方式：martin@martinanderson.ai

发现更多

mvp-article-cont