Hao AI Lab发布FastVideo FastH3

10月1日

1. 05:07

   UCSD Hao AI Lab一手

   Hao AI Lab 发布 FastVideo FastH3，基于 MiniMax H3

   UCSD Hao AI Lab 发布 FastVideo FastH3，基于 MiniMax H3 构建，并感谢 MiniMax 开源其权重与代码。在 8× GB200 上，5 秒 1344×768 带音频片段 3.1 秒输出成品 MP4，10 秒片段 6.3 秒（NVFP4 下 5.4 秒），负载下每天约 11,000 条视频，8× RTX PRO 6000 上约 3,400 条。UniServe 还作为 NVIDIA Dynamo 的实验后端，通过 uniserve-dynamo-worker 嵌入其 Rust 调度器与引擎。

   展开摘要
2. 05:07

   UCSD Hao AI Lab一手

   FastVideo FastH3 在 8× GB200 上的推理性能

   （10/13）结果：在 8× GB200 上，一段带音频的 5 秒 1344×768 片段可在 3.1 秒内输出为成品 MP4，10 秒片段为 6.3 秒（使用 NVFP4 时为 5.4 秒）。在负载下，8× GB200 每天约可处理 11,000 个视频，8× RTX PRO 6000 约为 3,400 个。

   展开摘要
3. 05:07

   UCSD Hao AI Lab一手

   UniServe 重构 Ulysses：投影权重降至 3.6 GiB

   (6/13) Ulysses 重构：UniServe 按注意力头切分 Q/K/V/gate 权重，分块 all-gather 更窄的隐藏状态，并在每个分块到达时进行投影。 输入集合通信的数据量减少 25%，投影权重从每 GPU 14.4 GiB 降至 3.6 GiB。https://t.co/CC2AfwMdz8

   展开摘要
4. 05:07

   UCSD Hao AI Lab一手

   FastVideo 融合 DiT kernel 优化

   (7/13) 融合 DiT kernel： - Q/K RMSNorm、RoPE、tile pooling 和 packing 一次完成，直接写入 attention kernel 的缓冲区 - fine 与 gated coarse attention 直接合并进 all-to-all 发送缓冲区 - AdaLN modulation、RMSNorm 和 gated residuals 融合

   展开摘要
5. 05:07

   UCSD Hao AI Lab一手

   FastVideo FastH3 解码：VAE 批处理与 CUDA 图

   （8/13）解码：每个时间单元的 28 个重叠 tile 作为一个批次通过 VAE 解码器，各单元分散在不同 GPU 上。融合后的解码器以 CUDA 图方式重放：14 次图启动即可解码一段 10 秒视频。