KAIST and Google DeepMind open-source FL4N: real-time reconstruction of 4D dynamic scenes from monocular video
English text is being prepared.
The Korea Advanced Institute of Science and Technology (KAIST) and Google DeepMind jointly proposed FL4N, a 4D novel view synthesis model that can reconstruct dynamic scenes from monocular video and render images from different viewpoints and time points in real time. The paper has been published on arXiv, and the code and model weights have been open-sourced simultaneously. FL4N adopts feed-forward latent space modeling, introducing a lightweight dynamic encoder based on a pretrained static scene model, and learns object motion through temporal residuals, reducing reliance on complex 3D motion annotations. On the NVIDIA Dynamic Scenes, N3DV, and Kubric4D datasets, it outperforms the compared 4D Gaussian methods on multiple image quality metrics, and is expected to be used in XR content production, immersive video, and dynamic digital twins.
Body
近日，韩国科学技术院（KAIST）与Google DeepMind研究人员联合提出4D新视角合成模型FL4N，能够根据单目视频重建动态场景，并实时渲染不同视角及时间点的画面。目前，相关论文已发布至arXiv，项目代码及模型权重同步开源。
据了解，传统3D重建主要针对静态场景，而4D重建需要进一步捕捉物体随时间发生的运动变化。现有部分方法依赖4D Gaussian等显式表示，在处理复杂运动场景时，容易出现画面重影、物体边缘伪影及时间一致性不足等问题。
针对上述挑战，FL4N采用前馈式潜在空间建模方法，将场景的空间结构与时间变化编码至统一的潜在表示中。该模型基于预训练静态场景模型，引入轻量级动态编码器，通过时间残差学习物体运动及场景变化，减少对复杂三维运动标注的依赖。
在技术实现上，FL4N利用静态场景特征辅助动态建模，区分物体自身运动与相机移动造成的视差，并支持独立调整观察视角和场景时间，实现动态画面的连续合成。
实验方面，研究团队在NVIDIA Dynamic Scenes、N3DV及Kubric4D等数据集上进行了测试。论文显示，FL4N在多项图像质量指标上优于所比较的4D Gaussian方法，并具备实时新视角渲染能力，有望应用于XR内容制作、沉浸式视频及动态数字孪生等领域。
来源：FL4N官方项目主页
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 林南（微信 19250561593）
加入行业交流群：林南（微信 19250561593）
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息