NVIDIA Groq 3 LPX 在 Vera Rubin 上实现长上下文超快交互
NVIDIA 发布面向 Vera Rubin 平台的交互式 AI 推理加速器 Groq 3 LPX,Artificial Analysis 在 100K 上下文下用 Gemma 4 31B 实测中位输出速度为 3,431 tokens/秒,10K 上下文下为 3,382 tokens/秒。该加速器采用确定性执行模型,由编译器预先调度芯片间通信并细粒度重叠计算与通信,可与 Vera Rubin NVL72 组合用于 prefill-decode 分离、attention-FFN 分离和外部草稿模型投机解码等配置。在 SPEED-Bench 编码基准上,同一系统用 Gemma 4 达到中位 4,767 tokens/秒、P80 为 5,520 tokens/秒。
匹配字段摘要









