AI News

热点事件

NVIDIA开源GPU工作负载快照恢复系统Snapshot

1 篇正式报道1 条事件动态更新于 11月10日 23:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

NVIDIA 开源 Snapshot,GPU 工作负载恢复缩短至 3.6 至 42.7 秒

事件进展

1 个已确认进展

  1. NVIDIA开源GPU工作负载快照恢复系统Snapshot

    来源:NVIDIA Developer · Generative AI

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月10日

  1. NVIDIA Developer · Generative AI一手精选

    NVIDIA 开源 Snapshot,GPU 工作负载恢复缩短至 3.6 至 42.7 秒

    NVIDIA 发布开源组件 NVIDIA Snapshot,可在 Kubernetes 上对 GPU 工作负载做检查点与恢复,实测恢复推理副本耗时 3.6 至 42.7 秒,相比需数分钟的冷启动提速 8 至 36 倍。该组件支持张量并行、数据与专家并行及解码上下文并行,可处理 8 块 GPU 上约 1 TB 检查点的 MoE 模型,检查点创建耗时 15 秒至 5.5 分钟。仓库已提供 vLLM、SGLang 和 TensorRT LLM 的示例,恢复需目标节点使用相同 GPU 型号与驱动。

关联事件

  1. 相关事件AWS开源智能体评估框架UAEF
  2. 相关事件Hao AI Lab将MiniMax H3 Flex接入FastVideo
  3. 相关事件Hao AI Lab宣布FastVideo支持Open-H3-Regenerate-2K
  4. 相关事件Hao AI Lab开源JetSpec++模型、代码与推理引擎