先了解这件事
2025年12月19日,LMSYS 在 SGLang 中引入扩散大语言模型(dLLM)框架的设计与实现。据 LMSYS Blog 介绍,该实现复用现有 Chunked-Prefill 机制支持 Block Diffusion,无需改动 SGLang 核心架构,并 Day-0 适配 LLaDA 2.0。该实现已支持完整 KV cache、自定义解码算法、流式输出、张量并行和 CUDA graph 优化,LLaDA2.0-flash 的 block size 为 32 tokens。在 8×H20、TP8 环境下,LLaDA2.0-flash-CAP(100B/BF16)用 10 种语言实现 quicksort 时达到 935 tokens/s,gpt-oss-120B(117B/MXFP4)为 263 tokens/s;采用 0.95 阈值解码器时 LLaDA2.0-flash-CAP 达到 500 TPS,高于标准版 383 TPS,小批量下较 AR 基线(258 TPS 和 237 TPS)最高提速 1.9 倍。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
12月19日
LMSYS Blog一手
LMSYS 在 SGLang 中支持扩散 LLM，并 Day-0 适配 LLaDA 2.0
LMSYS 在 SGLang 中实现了扩散大语言模型（dLLM）框架，通过复用现有 Chunked-Prefill 机制支持 Block Diffusion，无需改动 SGLang 核心架构，并 Day-0 支持 LLaDA 2.0。该实现已支持完整 KV cache、自定义解码算法、流式输出、张量并行和 CUDA graph 优化，LLaDA2.0-flash 的 block size 为 32 tokens。在 8×H20、TP8 环境下，LLaDA2.0-flash-CAP（100B/BF16）用 10 种语言实现 quicksort 时达到 935 tokens/s，gpt-oss-120B（117B/MXFP4）为 263 tokens/s；采用 0.95 阈值解码器时 LLaDA2.0-flash-CAP 达到 500 TPS，高于标准版 383 TPS，小批量下较 AR 基线（258 TPS 和 237 TPS）最高提速 1.9 倍。