GHARP：基于大规模重建先验的实时高斯头部动画
作者 Ali Benlalah*、Sepehr Johari*、Patricia Vitoria*、Armin Kappeler*、Artem Sevastopolsky、Alexander Jung、Gabriele Fanelli、Kevin Mader、Manuel Breitenstein、Claudia Plüss、Jan Rüegg、Simon Biland、Thomas Etterlin、Dmitry Kostiaev、Mathias Deschler、Brian Amberg、Sebastian Martin
我们提出 GHARP（基于大规模重建先验的实时高斯头部动画），这是一种仅凭受试者的少量输入图像和驱动表情信号即可实时驱动 3D 人头动画的方法。我们将问题解耦为两个阶段：身份阶段离线构建受试者几何与外观的表示，动画阶段则在运行时基于该表示预测与表情相关的残差。这种分离在保真度、质量和运行时间之间实现了有利的权衡：身份阶段可以开销较大，而动画阶段运行一个针对移动设备优化的轻量级网络。我们的方法在预训练重建模型的语义结构化潜空间中进行动画，其中表情变化在空间上保持局部化，从而使残差预测更加高效。这一重建先验提供了一致的空间布局，允许多个输入视图融合为紧凑的固定尺寸规范高斯表示。虽然这种两阶段设计改善了运行时间与质量的权衡，但它仍然继承了所有表情驱动虚拟人方法的共同问题：表情编码仅描述面部，因而忽略了身体姿态和衣物位置，使这些区域在输入中缺乏明确指定。动画网络面临不适定的映射，只能对相互冲突的身体外观取平均，从而产生模糊和时间闪烁。我们通过一个身体对齐网络来解决这一问题，该网络学习将目标图像中人物的身体与输入参考图像对齐，从而从训练信号中消除歧义。我们的方法在 Ava-256 基准上达到最先进的质量，同时在 A100 GPU 上运行速度最高提升 13 倍，高斯数量减少 8 倍。
- * 同等贡献者
相关阅读与更新。
基于多视角捕获的大规模高质量 3D 高斯头部重建
2026年5月8日研究领域 计算机视觉会议 ECCV
我们提出 HeadsUp，一种可扩展的前馈方法，用于从大规模多相机设置中重建高质量的 3D 高斯头部。我们的方法采用高效的编码器-解码器架构，将输入视图压缩为紧凑的潜表示。随后将该潜表示解码为一组 UV 参数化的 3D 高斯，锚定在中性头部模板上。这种 UV 表示将 3D 高斯的数量解耦……
阅读更多HUGS：人体高斯泼溅
2023年12月7日研究领域 计算机视觉
神经渲染的最新进展已将训练和渲染时间提升了数个数量级。虽然这些方法展示了最先进的质量和速度，但它们是为静态场景的摄影测量而设计的，无法很好地泛化到环境中自由移动的人体。在这项工作中，我们引入人体高斯泼溅（HUGS），它使用 3D 高斯泼溅将可动画的人体与场景一起表示……
阅读更多
探索机器学习领域的机遇。
我们在机器学习领域的研究每天都在开创新局面。