先了解这件事
AI 综述
LMSYS于2026年11月4日发布XM-Sparse,将Netpreme X-MemTM与SGLang HiSparse集成,用高带宽外部内存存放卸载的KV cache。据LMSYS Blog公布的结果,在16K上下文、20% top-k miss、每GPU batch 192时,平均每输出token时间(TPOT)比PCIe上的host DRAM降低49.25%,40% miss时降低63.58%;在16K–1M上下文、20% miss下,峰值解码吞吐为host DRAM的2.09–3.04倍。上述结果测于X-MemTM Pilot虚拟机,X-MemTM芯片稍后推出。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
XM-Sparse：Netpreme X-Mem™ 如何把稀疏注意力吞吐推向新高度事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月4日
LMSYS Blog一手
XM-Sparse：Netpreme X-Mem™ 如何把稀疏注意力吞吐推向新高度
LMSYS 将 Netpreme X-Mem™ 与 SGLang HiSparse 集成，用高带宽外部内存存放卸载的 KV cache。在 16K 上下文、20% top-k miss、每 GPU batch 192 时，平均每输出 token 时间（TPOT）比 PCIe 上的 host DRAM 降低 49.25%，40% miss 时降低 63.58%；在 16K–1M 上下文、20% miss 下峰值解码吞吐为 host DRAM 的 2.09–3.04 倍。结果测于 X-Mem™ Pilot 虚拟机，X-Mem™ 芯片稍后推出。