先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
vLLM 的原生速度 Transformers 建模后端事件进展
1 个已确认进展
- 来源:Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
7月8日
Hugging Face一手精选
vLLM 的原生速度 Transformers 建模后端
Hugging Face 更新了 vLLM 的 Transformers 建模后端,使兼容架构无需编写定制推理代码即可达到原生 vLLM 速度。该后端通过 torch.fx 分析模型图,并用 ast 重写操作、应用融合内核,已对 Qwen3 4B、32B 和 235B FP8 MoE 模型进行对比测试。目前尚不支持线性注意力,代码位于 Hub 仓库的自定义模型也可能无法运行。