←事件详情

热点事件

Baseten的GLM-5推理速度登顶

1 篇正式报道1 条事件动态更新于 10月3日 00:25

先了解这件事

AI 综述

2026年10月3日,Baseten宣布通过优化并部署GLM-5模型API,在Artificial Analysis独立基准测试中实现每秒200余Token的生成速度和约200毫秒的首Token延迟,位列榜首。据Baseten工程博客介绍,其采用低开销MTP投机解码引擎、针对GLM-5架构优化的MoE路由内核,以及为DeepSeek Sparse Attention定制的推理内核。GLM-5是Z.ai的最新开源旗舰模型,总参数744B、每轮前向激活40B、训练token量28.5T,采用MIT许可,在SWE-bench Verified得分77.8、AIME 2026得分92.7%。目前该事件尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Baseten 如何打造 Artificial Analysis 上最快的 GLM-5

事件进展

1 个已确认进展

  1. Baseten的GLM-5推理速度登顶

    来源:Baseten 工程博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月3日

  1. A6 a6-047 · Baseten 工程博客一手

    Baseten 如何打造 Artificial Analysis 上最快的 GLM-5

    Baseten 通过低开销 MTP 投机解码引擎、针对 GLM-5 架构优化的 MoE 路由内核以及为 DeepSeek Sparse Attention 定制的推理内核,在 Artificial Analysis 独立基准测试中让 GLM-5 达到 200+ tokens/秒和约 200ms 首 token 延迟,位列榜首。GLM-5 是 Z.ai 的最新开源旗舰模型,总参数 744B、每轮前向激活 40B、训练 token 量 28.5T,采用 MIT 许可,在 SWE-bench Verified 得分 77.8、AIME 2026 得分 92.7%。

关联事件

  1. 相关事件AWS发布HyperPod多租户架构指南
  2. 相关事件LMSYS 在 NVIDIA Vera Rubin 上跑通 SGLang 与 Miles
  3. 相关事件Thinking Machines Lab介绍on-policy蒸馏方法
  4. 相关事件Fireworks发表Kimi K3强化学习基础设施报告