Artificial Analysis 实测 Meta Muse Spark Open 推理吞吐
Results from Muse Spark Open, Meta’s newly released 816B (42B active) open-weights model, are now live on AA-AgentPerf. In our initial testing, the model reache
Artificial Analysis 在 AA-AgentPerf 上发布 Meta 新开源权重模型 Muse Spark Open 的初步测试结果，该模型为 816B 参数、42B 激活的 MoE，在 Artificial Analysis Intelligence Index 上得分 39。测试显示 NVIDIA B300 与 GB300 在吞吐优先配置下每兆瓦功耗均可达约 150M tokens/s，GB300 在 100 tok/s 输出速度下约 108M、B300 约 92M；AMD MI355X 在 65 tok/s 下为 70M tokens/s 每兆瓦。模型 62 层中有 46 层采用 2,048-token 滑动窗口注意力，使 1M 上下文下的 KV cache 需求较全注意力降低约 75%，Meta 发布了 NVFP4 checkpoint，AMD 发布了 MXFP4 checkpoint。
正文 · AI 翻译
Meta 新发布的 816B（42B 激活）开放权重模型 Muse Spark Open 在 AA-AgentPerf 上的测试结果现已上线。在我们的初步测试中，该模型在 4 块 NVIDIA GB300 或 B300 GPU 上，每兆瓦功耗的吞吐量最高可达约 150M tokens/s
Muse Spark Open 在 Artificial Analysis Intelligence Index 上得分为 39。它是一个 MoE 模型，共 62 层，其中 46 层采用 2,048 token 滑动窗口注意力，使 1M 上下文下的 KV cache 需求相比全注意力降低约 75%。Meta 发布了 NVFP4 checkpoint，AMD 发布了 MXFP4 checkpoint，我们分别将其用于 NVIDIA 和 AMD 硬件
初步结果：
➤ NVIDIA B300 和 GB300 领先，在吞吐优先（较低单用户速度）配置下，每兆瓦功耗的吞吐量均达到约 150M tokens/s。GB300 在更高输出速度下领先（100 tok/s 时约 108M 对约 92M），但两者目前仅在聚合服务配置下测试过，我们预计 GB300 相对 B300 的领先优势将在多节点分离式配置下进一步扩大
➤ 服务配置正在快速改进。在同一 B300 节点上，NVIDIA 调优的 SGLang 配置在 50-100 tok/s 下，每兆瓦功耗的吞吐量约为发布周 cookbook 配置的 1.6-1.8 倍。这些提升来自 TP4 部署以及按并发度调优的 prefill-decode 间隔，代价是首 token 时间更长
➤ AMD MI355X 在 65 tok/s 下达到每兆瓦 70M tokens/s，在 65 至 100 tok/s 之间约为 B200 的 0.9 倍。AMD 10 月 22 日的配方更新（prefill-decode 和调度器间隔、更多 tokenizer worker、为全注意力层分配更多 KV cache）使其每兆瓦性能较此前配方提升约 1.7 倍
我们正在继续测试 Muse Spark Open 的服务配置，包括多节点分离式部署，并将每周更新排行榜，列出目前找到的最佳结果和配置。我们还将发布更深入的评测，介绍在 Muse Spark Open 的 kernel、推理引擎和配置优化方面取得的进展