先了解这件事
AI 综述
2026年10月3日,PyTorch将Helion集成进vLLM的线性后端。据PyTorch Blog介绍,该后端用单个Helion GEMM实现覆盖Standard GEMM、Split-K和Swap-AB等变体,并通过按shape自动调优选择最佳配置。在NVIDIA Hopper GPU上,该后端结合按shape调优与混合调度,在评测模型中超过vLLM默认的CUTLASS和DeepGEMM后端,部分工作负载吞吐提升超过10%。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
PyTorch 用 Helion 为 vLLM 构建高性能可移植线性后端事件进展
1 个已确认进展
- 来源:PyTorch Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月3日
PyTorch Blog一手
PyTorch 用 Helion 为 vLLM 构建高性能可移植线性后端
PyTorch 将 Helion 集成进 vLLM 的线性后端,用单个 Helion GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 等变体,并通过按 shape 自动调优选择最佳配置。在 NVIDIA Hopper GPU 上,该后端结合按 shape 调优与混合调度,在评测模型中超过 vLLM 默认的 CUTLASS 和 DeepGEMM 后端,部分工作负载吞吐提升超过 10%。