←事件详情

热点事件

Zyphra将第二轮推理优化加入ZOE

1 篇正式报道1 条事件动态更新于 10月20日 08:00

先了解这件事

AI 综述

2026年10月20日,Zyphra发布第二代推理优化ZOE,将其加入ZOE推理优化序列。据Zyphra Research公布的信息,在AMD Instinct MI355X上,GLM-5.3在512K上下文下的首token延迟(TTFT)从178.8秒降至64.6秒,约2.8倍;90%前缀缓存命中时从42.3秒降至11.8秒,约3.6倍。其CSA top-K选择HIP kernel让DeepSeek-V4-Pro在1M上下文下单用户解码吞吐从43.5提升到61.1 tokens/s,约1.40倍。GLM-5.3的AMD MXFP4量化把模型从756 GB压到410 GB,AIME25等基准分数与FP8相差3分以内。目前该发布为唯一有证据的发展,尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

Zyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文推理服务

事件进展

1 个已确认进展

  1. Zyphra将第二轮推理优化加入ZOE

    来源:Zyphra Research

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月20日

  1. Zyphra Research一手

    Zyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文推理服务

    Zyphra 发布第二代推理优化 ZOE,在 AMD Instinct MI355X 上把 GLM-5.3 在 512K 上下文下的首 token 延迟(TTFT)从 178.8 秒降至 64.6 秒(2.8 倍),90% 前缀缓存命中时从 42.3 秒降至 11.8 秒(3.6 倍)。其 CSA top-K 选择 HIP kernel 让 DeepSeek-V4-Pro 在 1M 上下文下单用户解码吞吐从 43.5 提升到 61.1 tokens/s(1.40 倍)。GLM-5.3 的 AMD MXFP4 量化把模型从 756 GB 压到 410 GB,AIME25 等基准分数与 FP8 相差 3 分以内。

关联事件

  1. 相关事件SGLang原生支持并驱动Beam生产API
  2. 相关事件Meta发布开放权重模型Muse Spark Open
  3. 相关事件PyTorch 2.15为MPS带来FP8张量支持
  4. 相关事件NVIDIA在GTC柏林展示本地AI硬件全线产品