先了解这件事
AI 综述
2026年6月27日,Netpreme X-MemTM MPU 作为专用 KV 内存层接入 SGLang HiCache。据 LMSYS Blog 当日发布的信息,在前缀密集负载下,该方案将首 token 时延(TTFT)较基于 Host DRAM 的方案降低约 6.7 倍。单个内存节点提供最高 24 TB 内存、4 TB/s 带宽,并通过 CUDA 与 PyTorch 兼容 API 集成。端到端测试中,中等负载下每用户 TPS 提升 33%,高负载下交互性提升 50%、系统 TPS 提升 30%。目前该事件尚无后续独立发展事实,状态以此次集成发布为准。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月27日
LMSYS Blog一手
Netpreme X-Mem™ MPU 加速 SGLang HiCache：TTFT 最高降低 6.7 倍
Netpreme X-Mem™ MPU 作为专用 KV 内存层接入 SGLang HiCache，在前缀密集负载下将首 token 时延（TTFT）较基于 Host DRAM 的方案降低约 6.7 倍。单个内存节点提供最高 24 TB 内存、4 TB/s 带宽，通过 CUDA 与 PyTorch 兼容 API 集成。端到端测试中，中等负载下每用户 TPS 提升 33%，高负载下交互性提升 50%、系统 TPS 提升 30%。