先了解这件事
2026年11月14日,NVIDIA Developer · Generative AI 发布教程,展示如何用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3。教程通过 ConnectX-8 RDMA 将两台机器互联,以张量并行(TP=2)方式运行 753B 参数的 GLM-5.3 NVFP4 量化 MoE 模型;该模型约需 464 GB 显存,超过单块 GB300 GPU 的 252 GB HBM3e。两台机器通过一个 OpenAI 兼容端点对外服务,并启用多 token 预测、FP8 KV-cache 与前缀缓存。AIPerf 在 SPEED-Bench Coding 数据集上测得并发 16 时输出吞吐峰值 607.8 tokens/s,并发 32 时降至 385.0 tokens/s,平均请求延迟 453.5 秒。目前尚无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月14日
NVIDIA Developer · Generative AI一手
单卡不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3
NVIDIA 发布教程,演示如何用 vLLM 通过 ConnectX-8 RDMA 将两台 DGX Station 互联,以张量并行(TP=2)方式部署 753B 参数的 GLM-5.3 NVFP4 量化 MoE 模型,该模型约需 464 GB 显存,超过单块 GB300 GPU 的 252 GB HBM3e。两台机器通过一个 OpenAI 兼容端点对外服务,并启用多 token 预测、FP8 KV-cache 与前缀缓存。AIPerf 在 SPEED-Bench Coding 数据集上测得并发 16 时输出吞吐峰值 607.8 tokens/s,并发 32 时降至 385.0 tokens/s,平均请求延迟 453.5 秒。