先了解这件事
AI 综述
2025年5月12日,vLLM推出Hardware Plugin机制,旨在让不同硬件后端以解耦、模块化方式接入。目前,该机制已在昇腾NPU和IBM Spyre后端完成验证。开发者可独立实现并注册Platform、Worker、ModelRunner、AttentionBackend和Communicator等模块;用户安装vLLM及对应插件后即可运行。后续计划扩展对scheduler、graph mode和custom operators等模块的支持。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 推出 Hardware Plugin，以昇腾 NPU 展示硬件后端接入实践事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月12日
vLLM 官方博客一手
vLLM 推出 Hardware Plugin，以昇腾 NPU 展示硬件后端接入实践
vLLM 推出 Hardware Plugin，让不同硬件后端以解耦、模块化的方式接入，并已在昇腾 NPU 和 IBM Spyre 后端完成验证。开发者可独立实现并注册 Platform、Worker、ModelRunner、AttentionBackend 和 Communicator 等模块，用户安装 vllm 及对应插件后即可运行。后续将扩展 scheduler、graph mode 和 custom operators 等模块支持。