Zyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文推理服务
Zyphra 发布第二代推理优化 ZOE,在 AMD Instinct MI355X 上把 GLM-5.3 在 512K 上下文下的首 token 延迟(TTFT)从 178.8 秒降至 64.6 秒(2.8 倍),90% 前缀缓存命中时从 42.3 秒降至 11.8 秒(3.6 倍)。其 CSA top-K 选择 HIP kernel 让 DeepSeek-V4-Pro 在 1M 上下文下单用户解码吞吐从 43.5 提升到 61.1 tokens/s(1.40 倍)。GLM-5.3 的 AMD MXFP4 量化把模型从 756 GB 压到 410 GB,AIME25 等基准分数与 FP8 相差 3 分以内。

会起作用(图 12)。 量化 Kimi-K3 已经随附 MXFP4 专家权重,进一步压缩的空间很小,因此我们将重点放在随附 FP8 权重的 GLM-5.3 上。AMD 已发布 amd/GLM-5.3-Quark-MXFP4-AttnFP8该模型以 MXFP4 存储路由专家和共享专家,并将注意力保持在 FP8。这将模型大小从 756 GB 降至 410 GB。Hugging Face 模型卡报告的 GSM8K 得分为 91.28,而 FP8 模型为 91.89(恢复率 99.3%)。我们发现,仅凭 GSM8K 无法判断模型在训练后量化后是否仍保持推理能力,因此我们用自有的评测框架对两个模型在四个推理基准上进行了测试(表 5)。 数据来源 样本(问题 × 8 次重复) zai-org/GLM-5.3 得分(%) amd/GLM-5.3-Quark-MXFP4-AttnFP8(410 GB)得分(%) 变化(百分点) AIME25 240 97.5 99.17 +1.67 AIME25 240 96.67 96.67 0.00 Apex-Shortlist 376 53.72 53.46 −
匹配字段正文




