Together AI 的 ThunderKittens 现已支持 NVIDIA Vera Rubin NVL72
Together AI 的 kernels 团队在获得 NVIDIA Vera Rubin NVL72 平台访问权限后,已将 ThunderKittens 扩展至支持在 Vera Rubin 上编写 NVFP4 和 FP8 GEMM。旧 Blackwell 内核在 Vera Rubin 上仅达到 roofline 的 42.1%(NVFP4)和 44.4%(FP8),团队利用 64 字节 K 步长、576 列 tensor memory、328 KiB 共享内存等新特性优化后,将 NVFP4 内核提升至超过 22 PFLOPS,与 cuBLAS 和 CuTE DSL 相当。
匹配字段标题、摘要、正文
