FastH3 将 H3 权重压缩至消费级 GPU 可运行
5/8) H3's BF16 weights total 138 GiB, and a 32 GB RTX 5090 can't even hold the transformer.
AI 导读
5/8) H3 的 BF16 权重总计 138 GiB，32 GB 的 RTX 5090 连 transformer 都装不下。 我们分别压缩了每个网络： - 文本编码器：62 → 15 GiB - Transformer：Blackwell 上用 NVFP4，4090 上用 FP8，Mac 上用 INT6 - 轻量 VAE 在所有设备上使用 INT8 权重
正文
当前显示原文，中文全文译文尚未就绪。
5/8) H3's BF16 weights total 138 GiB, and a 32 GB RTX 5090 can't even hold the transformer.
We shrank each network separately: - Text encoder: 62 → 15 GiB - Transformer: NVFP4 on Blackwell, FP8 on the 4090, INT6 on Mac - Light VAE with INT8 weights on every device https://t.co/scbv3S7U4l