Google 在 TPU 上发布 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端,分别与 Inferact、RadixArk 合作开发,两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU(TPU 7x)上跑 Qwen 3.5 时,高并发配置下每百万 token 成本为 2.01 美分,并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型,SGLang-TorchTPU 已在 Meta 生产环境使用。

匹配字段摘要




