先了解这件事
AI 综述
2026年11月12日,Siddharth Senger在AWS机器学习博客发文,介绍在Amazon SageMaker HyperPod上检测并恢复静默数据损坏(SDC)的方法。文章称,HyperPod通过在PyTorch DDP训练循环中加入三项检查来检测SDC:非有限梯度检查、ring replay审计和权重指纹比对;定位可疑rank后,由HyperPod替换节点并从检查点恢复。测试在4台ml.p5.48xlarge(32块NVIDIA H100 GPU)上进行,最少3台实例即可运行。文章还提到,Meta在Llama 3 405B预训练中曾将419次意外中断中的6次归因于SDC。目前该内容仅有AWS官方博客这一来源。
AI 根据公开报道生成
最新进展 · 正式报道
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月12日
AWS Machine Learning一手
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Amazon SageMaker HyperPod 通过在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏(SDC):非有限梯度检查、ring replay 审计和权重指纹比对,定位可疑 rank 后由 HyperPod 替换节点并从检查点恢复。测试在 4 台 ml.p5.48xlarge(32 块 NVIDIA H100 GPU)上进行,最少 3 台实例即可运行。Meta 在 Llama 3 405B 预训练中曾将 419 次意外中断中的 6 次归因于 SDC。