AI News

热点事件

Siddharth Senger介绍HyperPod静默数据损坏检测方法

1 篇正式报道1 条事件动态更新于 11月12日 07:30

先了解这件事

AI 综述

2026年11月12日,Siddharth Senger在AWS机器学习博客发文,介绍在Amazon SageMaker HyperPod上检测并恢复静默数据损坏(SDC)的方法。文章称,HyperPod通过在PyTorch DDP训练循环中加入三项检查来检测SDC:非有限梯度检查、ring replay审计和权重指纹比对;定位可疑rank后,由HyperPod替换节点并从检查点恢复。测试在4台ml.p5.48xlarge(32块NVIDIA H100 GPU)上进行,最少3台实例即可运行。文章还提到,Meta在Llama 3 405B预训练中曾将419次意外中断中的6次归因于SDC。目前该内容仅有AWS官方博客这一来源。

AI 根据公开报道生成

最新进展 · 正式报道

如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

事件进展

1 个已确认进展

  1. AWS博客介绍在SageMaker HyperPod检测静默数据损坏

    来源:AWS Machine Learning

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月12日

  1. AWS Machine Learning一手

    如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    Amazon SageMaker HyperPod 通过在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏(SDC):非有限梯度检查、ring replay 审计和权重指纹比对,定位可疑 rank 后由 HyperPod 替换节点并从检查点恢复。测试在 4 台 ml.p5.48xlarge(32 块 NVIDIA H100 GPU)上进行,最少 3 台实例即可运行。Meta 在 Llama 3 405B 预训练中曾将 419 次意外中断中的 6 次归因于 SDC。

关联事件

  1. 相关事件SageMaker HyperPod推出Data Capture能力
  2. 相关事件NVIDIA介绍Vera Rubin NVL72五项协同设计
  3. 相关事件Indegene在NEXT UDP中构建LLM数据质量Agent
  4. 相关事件Hugging Face提出模型集成契约标准MIC