AI News

热点事件

NVIDIA博客展示双DGX Station部署GLM-5.3

1 篇正式报道1 条事件动态更新于 11月14日 01:00

先了解这件事

AI 综述

2026年11月14日,NVIDIA Developer · Generative AI 发布教程,展示如何用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3。教程通过 ConnectX-8 RDMA 将两台机器互联,以张量并行(TP=2)方式运行 753B 参数的 GLM-5.3 NVFP4 量化 MoE 模型;该模型约需 464 GB 显存,超过单块 GB300 GPU 的 252 GB HBM3e。两台机器通过一个 OpenAI 兼容端点对外服务,并启用多 token 预测、FP8 KV-cache 与前缀缓存。AIPerf 在 SPEED-Bench Coding 数据集上测得并发 16 时输出吞吐峰值 607.8 tokens/s,并发 32 时降至 385.0 tokens/s,平均请求延迟 453.5 秒。目前尚无后续发展。

AI 根据公开报道生成

最新进展 · 正式报道

单卡不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3

事件进展

1 个已确认进展

  1. NVIDIA博客展示双DGX Station部署GLM-5.3

    来源:NVIDIA Developer · Generative AI

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. NVIDIA Developer · Generative AI一手

    单卡不够用:用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3

    NVIDIA 发布教程,演示如何用 vLLM 通过 ConnectX-8 RDMA 将两台 DGX Station 互联,以张量并行(TP=2)方式部署 753B 参数的 GLM-5.3 NVFP4 量化 MoE 模型,该模型约需 464 GB 显存,超过单块 GB300 GPU 的 252 GB HBM3e。两台机器通过一个 OpenAI 兼容端点对外服务,并启用多 token 预测、FP8 KV-cache 与前缀缓存。AIPerf 在 SPEED-Bench Coding 数据集上测得并发 16 时输出吞吐峰值 607.8 tokens/s,并发 32 时降至 385.0 tokens/s,平均请求延迟 453.5 秒。

关联事件

  1. 相关事件Hugging Face在Transformers中加入决策模型支持
  2. 相关事件AWS在SageMaker HyperPod上微调GPT-OSS-20B
  3. 相关事件i14将自定义架构迁移到AWS Trainium2
  4. 相关事件AWS介绍vLLM双向KV传输降低多轮TTFT