NVIDIA and MIT teams' Open-H3-Regenerate-2K, an open-source video enhancement solution based on MiniMax H3…
English text is being prepared.
The Efficient-Large-Model team, composed of researchers from NVIDIA and MIT, has released the model weights for the video enhancement project Open-H3-Regenerate-2K on Hugging Face, with the accompanying inference code now available in the NVlabs/Sana repository. Based on MiniMax H3, the solution regenerates low-resolution video drafts into high-resolution video, supports 2K output at 2560×1440, and can achieve native 4K regeneration at up to 3840×2160. The team kept the H3 Transformer backbone and video VAE parameters unchanged, training only the newly added refinement LoRA; at inference time it is merged with community adapters such as LightX2V FL2VA Turbo and LMS Sharp, regenerating image details through three-step denoising. On a single NVIDIA B200 GPU, the combined time for latent-space upscaling, three-step refinement, and 2K decoding of an approximately 5-second video dropped from 87.26 seconds to 22.45 seconds, about 3.9 times faster than before; on RefinerBench-150, UniPercept averaged 60.0, compared with 53.4 for the official H3-Regenerate-2K API.
Why read this
AI score 57
The original text provides the open weights, the three-step refinement pipeline, and measured latency on a single GPU, so readers can judge the cost and quality trade-offs of self-deploying 2K video regeneration.
Topics
Body
近日，由英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队，在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重，配套推理代码已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3，将低分辨率视频草稿重新生成为高分辨率视频，支持 2560×1440 的 2K 输出，最高可实现 3840×2160 的原生 4K 重生成。
MiniMax H3 的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中，已开放权重的 H3-Base 负责生成 768P 音视频，官方 H3-Regenerate-2K 模块通过 API 提供服务。此次发布的项目复用 H3 基础模型的生成能力，为高分辨率重生成环节提供了一套可自行部署的开放实现。
在细化模型的训练阶段，研究团队保持 H3 Transformer 主干与视频 VAE 的原有参数不变，仅训练新增的细化 LoRA。推理时，细化 LoRA 与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并使用，通过三步去噪，在目标分辨率下重新生成画面细节。视频草稿中的场景、布局和运动信息，则为这一过程提供基础。
为提高推理效率，项目采用社区开发的潜空间放大器，直接放大视频的潜在表示，减少高分辨率下重复解码、编码的开销。同时，方案结合 SoL-Engine 的稀疏注意力、低精度计算和快速 VAE 解码器，对细化与解码环节进行加速。
项目团队公布的测试显示，在单张 NVIDIA B200 GPU、预热后的测试条件下，一段约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时，由未优化实现的 87.26 秒降至 22.45 秒，处理速度约为原来的 3.9 倍。其中，快速解码器将视频解码耗时从约 15 秒降至约 1.6 秒。
画质方面，项目团队在 RefinerBench-150 上进行了对比评测。在相同输入、相同 2K 输出条件下，Open-H3-Regenerate-2K 在感知质量评测 UniPercept 上的平均分为 60.0，官方 H3-Regenerate-2K API 为 53.4。VBench 评测中，该方案的美学质量、成像质量和主体一致性得分更高，官方 API 在运动平滑度和动态程度上仍略优。
MiniMax H3 在今年 8 月开放权重，围绕 H3 展开的微调、蒸馏和工具适配迅速增多，吸引了海内外研究团队与社区开发者参与，一个月内下载量超过 2400 万次，产生超过 300 个公开衍生模型，H3 成为 2026 年全球下载量最高的模型之一。
其中，英伟达与 MIT 联合围绕 H3 的开发覆盖了不同方向。除本次视频增强方案外，该团队还发布了基于 H3 Ref2VA 构建的流式视频渲染模型 StreamRender-H3，以及从 H3 视频 VAE 蒸馏而来的快速解码器 Sol-H3-VAE，分别面向交互式视频渲染和解码效率优化。
此前，LightX2V 推出的 MiniMax-H3 Turbo 提供四步、八步等蒸馏版本，社区微调模型 Singularity 则着重优化动作表现、面部细节与视觉风格。海外团队 FastVideo、Pika 也分别发布了 FastH3 四步预览版本和六步采样的 Pika H3 Flex；ComfyUI、Unsloth 则通过适配权重和量化版本，将 H3 带入更多本地创作工作流。
本文由MiniMax提供，量子位获授权转载，观点归原作者所有。