←事件详情

热点事件

Mistral定位vLLM内存泄漏

1 篇正式报道1 条事件动态更新于 1月22日 00:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

堆也会撒谎:调试 vLLM 内存泄漏

事件进展

1 个已确认进展

  1. Mistral定位vLLM内存泄漏

    来源:Mistral AI

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

1月22日

  1. Mistral AI一手精选

    堆也会撒谎:调试 vLLM 内存泄漏

    Mistral AI 定位了 vLLM 在 Mistral Medium 3.1、图编译及 Prefill/Decode 分离部署下每分钟增长 400 MB 的内存泄漏,根因是 NIXL 依赖的 UCX 拦截 mmap,并让待清理区域在 RCache 失效队列中累积。设置 UCX_MEM_MMAP_HOOK_MODE=none 可消除泄漏且未影响性能,另可将 UCX_RCACHE_MAX_UNRELEASED 设为 1024;相关修复已合并至 vLLM,UCX 与 NIXL 团队也计划在未来版本中调整行为。

关联事件

  1. 相关事件Mistral AI发布Mistral 3模型家族
  2. 相关事件NVIDIA发布医疗机器人仿真框架
  3. 相关事件Mistral发布Voxtral转录模型
  4. 相关事件Zyphra在AWS Neuron推理栈实现Domino式通信重叠