先了解这件事
AI 综述
2025年1月21日,vLLM团队与LMCache团队发布开源参考实现vLLM Production Stack,将单节点vLLM扩展为可在GPU集群运行的完整推理服务。该项目支持KV cache共享与存储、前缀感知路由、TTFT和TBT等指标观测以及自动扩缩容,并可通过Helm chart部署到Kubernetes。多轮问答基准结果显示,其首个token延迟和token间延迟优于vLLM与KServe组合及一个商业端点服务。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 发布面向 Kubernetes 的开源推理栈 production-stack事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月21日
vLLM 官方博客一手精选
vLLM 发布面向 Kubernetes 的开源推理栈 production-stack
vLLM 与 LMCache 团队发布开源参考实现 vLLM production-stack，将单节点 vLLM 扩展为可在 GPU 集群运行的完整推理服务。它支持 KV cache 共享与存储、前缀感知路由、TTFT 和 TBT 等指标观测及自动扩缩容，并可通过 Helm chart 部署到 Kubernetes。多轮问答基准结果显示，该方案在首个 token 延迟和 token 间延迟方面优于 vLLM + KServe 与一个商业端点服务。