Unsloth 发布 Gemma 4 NVFP4 量化版本，GPU 推理提速 1.5 倍
We’re releasing Gemma 4 NVFP4 quants that run 1.5× faster on your GPU.
AI 导读
Unsloth 发布 Gemma 4 的 NVFP4 量化版本，称在 GPU 上推理速度提升 1.5 倍。其中 Gemma-4-12B NVFP4 可在 11GB 显存上运行，26B-A4B 在 B200 上达到 13K tok/s。官方称该 NVFP4 方案面向 Blackwell 平台，可实现更快、更准确的 4-bit 推理。
推荐理由
AI 评分 57
Unsloth 放出 Gemma 4 的 NVFP4 量化版本，给出显存占用与吞吐数字，可据此判断本地部署门槛。
主题
正文
当前显示原文，中文全文译文尚未就绪。
We’re releasing Gemma 4 NVFP4 quants that run 1.5× faster on your GPU.
Gemma-4-12B NVFP4 works on 11GB VRAM. 26B-A4B hits 13K tok/s (B200).
Unsloth NVFP4 enables faster, more accurate 4-bit Blackwell inference.