AI News

热点事件

LMSYS为Muse Spark Open构建megakernel,解码超千token每秒

1 篇正式报道1 条事件动态更新于 11月5日 08:00

先了解这件事

AI 综述

2026年11月5日,LMSYS发布博客称,其用CUDA C++和PTX从零为Muse Spark Open构建megakernel,在GB300上把解码速度从517 tok/s提升到1,109 tok/s。该内核把每层的attention与MoE合并为一次启动,并通过权重预取、指令缓存预热和无fence的跨卡数据传递隐藏延迟。目前该实现只支持batch size为1的投机解码,代码已在facebookresearch/sgl-muse-mega开源。

AI 根据公开报道生成

最新进展 · 正式报道

LMSYS 为 Muse Spark Open 手写 megakernel,解码速度从 517 提升到 1,109…

事件进展

1 个已确认进展

  1. LMSYS为Muse Spark Open构建megakernel实现超千token每秒

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月5日

  1. LMSYS Blog一手精选

    LMSYS 为 Muse Spark Open 手写 megakernel,解码速度从 517 提升到 1,109…

    LMSYS 用 CUDA C++ 和 PTX 从零为 Muse Spark Open 构建 megakernel,在 GB300 上把解码速度从 517 tok/s 提升到 1,109 tok/s。该内核把每层的 attention 与 MoE 合并为一次启动,通过权重预取、指令缓存预热和无 fence 的跨卡数据传递隐藏延迟。目前只支持 batch size 为 1 的投机解码,代码开源于 facebookresearch/sgl-muse-mega。

关联事件

  1. 相关事件Fireworks发表Kimi K3强化学习基础设施报告
  2. 相关事件Thinking Machines Lab介绍on-policy蒸馏方法
  3. 相关事件Thinking Machines Lab 发布 LLM 推理非确定性分析文章
  4. 相关事件Lilian Weng 提出 harness 工程是近期 RSI 的现实路径