先了解这件事
AI 综述
2026年11月5日,LMSYS发布博客称,其用CUDA C++和PTX从零为Muse Spark Open构建megakernel,在GB300上把解码速度从517 tok/s提升到1,109 tok/s。该内核把每层的attention与MoE合并为一次启动,并通过权重预取、指令缓存预热和无fence的跨卡数据传递隐藏延迟。目前该实现只支持batch size为1的投机解码,代码已在facebookresearch/sgl-muse-mega开源。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月5日
LMSYS Blog一手精选
LMSYS 为 Muse Spark Open 手写 megakernel,解码速度从 517 提升到 1,109…
LMSYS 用 CUDA C++ 和 PTX 从零为 Muse Spark Open 构建 megakernel,在 GB300 上把解码速度从 517 tok/s 提升到 1,109 tok/s。该内核把每层的 attention 与 MoE 合并为一次启动,通过权重预取、指令缓存预热和无 fence 的跨卡数据传递隐藏延迟。目前只支持 batch size 为 1 的投机解码,代码开源于 facebookresearch/sgl-muse-mega。