先了解这件事
AI 综述
2026年11月5日,NVIDIA介绍Vera Rubin NVL72的五项协同设计,包括NVFP4、Wide-EP、Dynamo、Vera CPU和CMX。NVIDIA Developer于11月6日发布的文章称,在每GPU 288 GB HBM不变的情况下,该设计在SemiAnalysis AgentX上实现最高30倍于GB300 NVL72的每兆瓦吞吐量。文章还称,NVFP4将模型占用较FP16缩小约3.5倍、较FP8缩小1.8倍,NVFP4 KV cache较FP8再降最多50%;TensorRT-LLM的Wide-EP把专家分散到8块以上GPU,Dynamo将KV cache作为跨GPU、CPU和存储的集群级资源管理。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
NVIDIA 协同设计如何最大化 AI 工厂中每个字节的价值:五种方式事件进展
1 个已确认进展
- 来源:NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月6日
NVIDIA Developer · Generative AI一手
NVIDIA 协同设计如何最大化 AI 工厂中每个字节的价值:五种方式
NVIDIA 通过 NVFP4、Wide-EP、Dynamo、Vera CPU 和 CMX 五项协同设计,让 Vera Rubin NVL72 在每 GPU 288 GB HBM 不变的情况下,于 SemiAnalysis AgentX 上实现最高 30 倍于 GB300 NVL72 的每兆瓦吞吐量。NVFP4 将模型占用较 FP16 缩小约 3.5 倍、较 FP8 缩小 1.8 倍,NVFP4 KV cache 较 FP8 再降最多 50%。TensorRT-LLM 的 Wide-EP 把专家分散到 8 块以上 GPU,Dynamo 则将 KV cache 作为跨 GPU、CPU 和存储的集群级资源管理。