Cloudflare 披露 GLM-5.3 Workers AI 跨请求 KV cache 泄露并完成修复
Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang | Cloudflare Blog
AI 导读
Cloudflare 披露 GLM-5.3 Workers AI 模型存在跨请求 KV cache 泄露，8 月 27 日至 9 月 9 日期间共 155 条响应受影响，均为超过 681,280 token 的长提示词。原因是预填充 KV 池只有 681,280 token 而上下文窗口为 1,048,576 token，叠加 SGLang 在分离式预填充/解码模式下对超长请求的处理缺陷，解码节点读取了仍存有其他用户数据的旧缓存页。Cloudflare 已将预填充池扩大到约 204 万 token 并修补引擎，相关修复进入 SGLang v0.5.20 至 v0.5.22，建议分离式部署的运维方升级到 v0.5.22 或更高版本。
推荐理由
AI 评分 72
Cloudflare 公开了跨请求 KV cache 泄露的根因、时间线和上游修复，运维者可据此核对自家 SGLang 部署的池容量与上下文长度。
主题
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。