先了解这件事
AI 综述
2025年4月11日,vLLM集成Hugging Face Transformers建模后端,使兼容模型在沿用Transformers实现的同时获得vLLM的吞吐量和延迟优化。该后端已支持视觉语言模型,可通过model_impl="transformers"、OpenAI兼容API或LLM API部署。对于vLLM尚未原生支持的兼容模型,系统也可自动切换至Transformers实现。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 如何集成 Transformers 建模后端事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月11日
vLLM 官方博客一手
vLLM 如何集成 Transformers 建模后端
vLLM 集成 Transformers 建模后端，让兼容模型在沿用 Transformers 实现的同时获得 vLLM 的吞吐量与延迟优化。该后端现已支持视觉语言模型，并可通过 model_impl="transformers"、OpenAI 兼容 API 或 LLM API 部署；对于 vLLM 尚未原生支持的兼容模型，系统也可自动切换到 Transformers 实现。