先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
堆也会撒谎:调试 vLLM 内存泄漏事件进展
1 个已确认进展
- 来源:Mistral AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
1月22日
Mistral AI一手精选
堆也会撒谎:调试 vLLM 内存泄漏
Mistral AI 定位了 vLLM 在 Mistral Medium 3.1、图编译及 Prefill/Decode 分离部署下每分钟增长 400 MB 的内存泄漏,根因是 NIXL 依赖的 UCX 拦截 mmap,并让待清理区域在 RCache 失效队列中累积。设置 UCX_MEM_MMAP_HOOK_MODE=none 可消除泄漏且未影响性能,另可将 UCX_RCACHE_MAX_UNRELEASED 设为 1024;相关修复已合并至 vLLM,UCX 与 NIXL 团队也计划在未来版本中调整行为。