先了解这件事
AI 综述
2026年9月16日,LMSYS 在 SGLang 中实现了 NVFP4 KV 缓存。据 LMSYS Blog 介绍,该实现将 K/V 以 4 位 E2M1 加两级缩放存储,每 16 个值占 8 字节数据加 1 字节块缩放,约为 FP8 存储量的 56%。实现覆盖初始 prefill、chunked prefill/extend 和 decode 三条注意力路径,decode 阶段在内核中直接读取 NVFP4 并即时反量化为 FP8。团队在 Qwen3.5-397B-A17B 和 Qwen3.8-27B 上,用 GSM8K、GPQA-Diamond、AIME 2025 和 SWE-bench 对比了 FP8 与 NVFP4 KV 缓存的精度。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月16日
LMSYS Blog一手
LMSYS 在 SGLang 中用 NVFP4 KV Cache 加速长上下文与智能体推理
LMSYS 在 SGLang 中实现了 NVFP4 KV cache，将 K/V 以 4 位 E2M1 加两级缩放存储，每 16 个值占 8 字节数据加 1 字节块缩放，约为 FP8 存储量的 56%。该实现覆盖初始 prefill、chunked prefill/extend 和 decode 三条注意力路径，decode 阶段在内核中直接读取 NVFP4 并即时反量化为 FP8。团队在 Qwen3.5-397B-A17B 和 Qwen3.8-27B 上用 GSM8K、GPQA-Diamond、AIME 2025 和 SWE-bench 对比了 FP8 与 NVFP4 KV cache 的精度。