←事件详情

热点事件

PyTorch将Helion集成至vLLM线性后端

1 篇正式报道1 条事件动态更新于 10月3日 03:55

先了解这件事

AI 综述

2026年10月3日,PyTorch将Helion集成进vLLM的线性后端。据PyTorch Blog介绍,该后端用单个Helion GEMM实现覆盖Standard GEMM、Split-K和Swap-AB等变体,并通过按shape自动调优选择最佳配置。在NVIDIA Hopper GPU上,该后端结合按shape调优与混合调度,在评测模型中超过vLLM默认的CUTLASS和DeepGEMM后端,部分工作负载吞吐提升超过10%。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

PyTorch 用 Helion 为 vLLM 构建高性能可移植线性后端

事件进展

1 个已确认进展

  1. vLLM集成Helion线性后端

    来源:PyTorch Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月3日

  1. PyTorch Blog一手

    PyTorch 用 Helion 为 vLLM 构建高性能可移植线性后端

    PyTorch 将 Helion 集成进 vLLM 的线性后端,用单个 Helion GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 等变体,并通过按 shape 自动调优选择最佳配置。在 NVIDIA Hopper GPU 上,该后端结合按 shape 调优与混合调度,在评测模型中超过 vLLM 默认的 CUTLASS 和 DeepGEMM 后端,部分工作负载吞吐提升超过 10%。

关联事件

  1. 相关事件inclusionAI 在 GitHub 建立 vLLM 仓库
  2. 相关事件Meta发布开放权重模型Muse Spark Open
  3. 相关事件AWS发布开源决策模型
  4. 相关事件llama.cpp通过ggml RPC后端分发异构推理