先了解这件事
AI 综述
2026年4月10日,LMSYS 发布 HiSparse,一个面向稀疏注意力的分层内存系统。该系统将不活跃的 KV cache 卸载到主机内存,并在 GPU HBM 保留热缓冲区,从而支持更大的解码 batch size。据 LMSYS Blog 介绍,在 8×H200 部署上运行 GLM-5.1-FP8、32k 输入 8k 输出时,256 并发请求下吞吐超过基线 3 倍,长上下文场景最高提升 5 倍。目前 HiSparse 支持 DeepSeek Sparse Attention(DSA)系列模型,包括 DeepSeek-V3.2 和 GLM-5.1,属实验性功能。截至现有证据,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
LMSYS 发布 HiSparse：用分层内存加速稀疏注意力事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月10日
LMSYS Blog一手
LMSYS 发布 HiSparse：用分层内存加速稀疏注意力
LMSYS 发布 HiSparse，一个面向稀疏注意力的分层内存系统，将不活跃的 KV cache 卸载到主机内存，并在 GPU HBM 保留热缓冲区，从而支持更大的解码 batch size。在 8×H200 部署上跑 GLM-5.1-FP8、32k 输入 8k 输出时，256 并发请求下吞吐超过基线 3 倍，长上下文场景最高提升 5 倍。目前支持 DeepSeek Sparse Attention（DSA）系列模型，包括 DeepSeek-V3.2 和 GLM-5.1，属实验性功能。