PyTorch 在 AMD GPU 上接入 FlyDSL 后端
PyTorch 官方博客介绍,AMD MI350 系列 GPU 用户现可通过现有算子 API 使用 FlyDSL,覆盖 dense 与 grouped GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 0.14b 系列提供的注意力内核,无需调用自定义内核。在 MI355X 上,BF16 dense GEMM 相对 ATen 与 Triton 中较快的基线取得 1.10x 几何平均加速,MXFP8 和 MXFP4 相对 ATen 分别为 1.58x 和 1.68x,grouped GEMM 相对 Triton 为 1.20x。vLLM 端到端 A/B 测试中整请求加速为 BF16 1.13x、MXFP8 2.04x、MXFP4 3.01x,具体取决于模型与并发度。

#产品更新#部署/工程#开源生态


