Depth Pro 2:清晰且具时序一致性的单目度量深度估计
作者:Peiyun Hu、Marko Mihajlovic、Lyndon Duong、Lahav Lipson、Wei Dong、Amaël Delaunoy、Stephan R. Richter、Vladlen Koltun
我们提出了 Depth Pro 2,一种以全分辨率估算图像和视频稠密度量深度的方法。通过分析以往的单目深度估计方法,我们发现这些方法通常需要在时序一致性和边界清晰度之间作出取舍:多帧方法偏重一致性,单帧方法偏重清晰度。为克服这一权衡,我们训练了一个既能处理图像又能处理视频,并以原始分辨率预测深度图的单一可扩展网络。Depth Pro 2 生成的深度图同时具备度量准确性、清晰度和时序一致性,在所有这些维度上均优于以往工作。我们发布了一系列模型,它们在度量准确性、清晰度、时序一致性和运行时间方面构建了新的帕累托前沿。
我们发布了代码和权重,详见 此处.
相关阅读和最新动态。
不到一秒即可完成的清晰单目视图合成
2025 年 12 月 13 日研究领域:计算机视觉, 研究领域:方法与算法会议:ICLR
我们提出了 SHARP,一种从单张图像生成逼真新视图的方法。给定一张照片,SHARP 可回归出所描绘场景的三维高斯表示参数。通过神经网络的一次前向传播,这一过程在标准 GPU 上不到一秒即可完成。随后,SHARP 生成的三维高斯表示可以实时渲染,为邻近视角生成高分辨率的逼真图像……
阅读更多Depth Pro:不到一秒即可完成的清晰单目度量深度估计
2024 年 10 月 9 日研究领域:计算机视觉会议:ICLR
我们提出了一个用于零样本单目度量深度估计的基础模型。我们的模型 Depth Pro 能够合成清晰度无与伦比且具有丰富高频细节的高分辨率深度图。其预测结果采用绝对尺度进行度量,无须依赖相机内参等元数据。此外,该模型速度很快,在标准 GPU 上仅需 0.3 秒即可生成一张 225 万像素的深度图。这些特性得益于……
阅读更多
探索机器学习领域的工作机会。
我们的机器学习研究每天都在开辟新的疆界。
AI 热点