←事件详情

热点事件

vLLM后端实现原生级推理速度

1 篇正式报道1 条事件动态更新于 7月8日 08:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

vLLM 的原生速度 Transformers 建模后端

事件进展

1 个已确认进展

  1. vLLM后端实现原生级推理速度

    来源:Hugging Face

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

7月8日

  1. Hugging Face一手精选

    vLLM 的原生速度 Transformers 建模后端

    Hugging Face 更新了 vLLM 的 Transformers 建模后端,使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图,并用 ast 重写操作、应用融合内核,已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力,代码位于 Hub 仓库的自定义模型也可能无法运行。

关联事件

  1. 相关事件Hugging Face直连SageMaker
  2. 相关事件Foundry上线Hugging Face模型集合
  3. 相关事件SkyPilot接入Hugging Face存储
  4. 相关事件LeRobot发布v0.6.0