先了解这件事
AI 综述
2026年11月3日,NVIDIA发布开源工作负载级恢复服务NVIDIA Recovery。该服务通过应用日志、GPU指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。服务以Apache 2.0许可在dsx-ai-factory/NVIDIA-Recovery仓库开放,Slurm集成通过Helm chart部署的Advisor Controller实现,支持集群内和SSH两种模式。新部署默认处于监控模式,只输出恢复建议、不执行调度动作。7月9日至10月9日在一个训练集群上的监控覆盖每天近200个任务,记录约8,550次异常检测,平均检测与恢复动作延迟分别为69秒和94秒。目前该服务已开源发布,尚无后续发展信息。
AI 根据公开报道生成
最新进展 · 正式报道
NVIDIA 开源 NVIDIA Recovery，自动恢复集群分布式训练任务事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月3日
NVIDIA Developer · Generative AI一手精选
NVIDIA 开源 NVIDIA Recovery，自动恢复集群分布式训练任务
NVIDIA 发布开源工作负载级恢复服务 NVIDIA Recovery，通过应用日志、GPU 指标和调度器信号检测训练中断，并按检测、归因、隔离、重启或停止四阶段循环处理。该服务以 Apache 2.0 许可在 dsx-ai-factory/NVIDIA-Recovery 仓库开放，Slurm 集成通过 Helm chart 部署的 Advisor Controller 实现，支持集群内和 SSH 两种模式。新部署默认处于监控模式，只输出恢复建议不执行调度动作；7 月 9 日至 10 月 9 日在一个训练集群上的监控覆盖每天近 200 个任务，记录约 8,550 次异常检测，平均检测与恢复动作延迟分别为 69 秒和 94 秒。