先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
事件进展
1 个已确认进展
- 来源:NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
8月13日
NVIDIA Developer · Generative AI一手精选
NVIDIA 在 GB300 NVL72 上部署 Qwen3.8-2.4T-A95B,单 GPU 吞吐超 4K tokens/s
NVIDIA 发布在 GB300 NVL72 上部署阿里开源权重模型 Qwen3.8-2.4T-A95B 的方案,该模型总参数 2.4T、每 token 激活 95B,采用细粒度 MoE 与全注意力加线性注意力混合架构,上下文窗口最高 100 万 tokens。在 FP8 精度下 Day 0 即实现单 GPU 超 4K tokens/s、单用户超 350 tokens/s,NVFP4 优化预计带来进一步提升。SGLang、vLLM 和 NVIDIA Dynamo 提供开源推理配方,也可通过 NVIDIA NIM 容器部署,并可用 NeMo AutoModel 做全量 SFT 或 LoRA 微调。