先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
事件进展
1 个已确认进展
- 来源:NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月10日
NVIDIA Developer · Generative AI一手精选
NVIDIA 开源 Snapshot,GPU 工作负载恢复缩短至 3.6 至 42.7 秒
NVIDIA 发布开源组件 NVIDIA Snapshot,可在 Kubernetes 上对 GPU 工作负载做检查点与恢复,实测恢复推理副本耗时 3.6 至 42.7 秒,相比需数分钟的冷启动提速 8 至 36 倍。该组件支持张量并行、数据与专家并行及解码上下文并行,可处理 8 块 GPU 上约 1 TB 检查点的 MoE 模型,检查点创建耗时 15 秒至 5.5 分钟。仓库已提供 vLLM、SGLang 和 TensorRT LLM 的示例,恢复需目标节点使用相同 GPU 型号与驱动。