人工智能
Amazon SageMaker HyperPod 推出工作负载恢复与扩展基础设施检查即使每个节点看起来都运行正常,大型训练作业仍可能失败。存在细微故障的 GPU 可能通过压力测试,却仍返回错误值。当作业因 NCCL 超时而停滞时,它会继续占用 GPU,Slurm 也仍将其显示为正在运行。如果某个节点上的设备插件崩溃,作业会报错失败,但错误信息完全不会提及该插件。团队通常只有在损失值发散或作业失败后才发现这些问题,而此时计算资源已经耗费。上述每种故障都会降低有效吞吐率,即集群时间中用于有效训练的比例。今天,我们为 Amazon SageMaker HyperPod 推出工作负载恢复和基础设施检查功能,以便更早发现这些故障,并提高训练工作负载的有效吞吐率。
SageMaker HyperPod 已经能够处理报告硬件故障的节点。运行状况监控代理(HMA)会监视每个节点是否出现 GPU 错误,深度运行状况检查会在预置期间测试节点,而自动节点恢复功能则会重启或更换故障硬件。这些功能每次只检查单个节点的硬件,无法判断 GPU 是否能正确执行训练、作业是否仍在取得进展,也无法判断作业依赖的 Kubernetes 组件是否正常运行。
本文将介绍用于发现这些故障的三项新功能。对于每项功能,我们都会说明如何进行设置,以及它发现问题时会报告哪些信息:
MultiNodeTrainingValidation是一项面向由 Amazon Elastic Kubernetes Service(Amazon EKS)编排的 HyperPod 集群的新型深度运行状况检查。当 HyperPod 预置实例或您按需运行检查时,它会先在单个实例上训练一个小型模型,然后跨同一类型的实例进行训练。如果损失值变为 NaN 或无穷大,或者训练未能及时完成,实例就无法通过检查。- HyperPod Kubernetes Resource Monitoring Agent 会监视 EKS 集群的 Kubernetes 层,检测设备插件反复崩溃、DaemonSet 缺失以及节点被施加污点等问题。当作业失败时,它会以 Kubernetes 事件和 Amazon CloudWatch 日志的形式报告相关的 Pod 和节点。
- 挂起作业检测功能会找出已停止取得进展的 Slurm 作业。每个节点上的代理会监视作业输出和 GPU 活动,或者监视您定义的日志模式。它会将事件写入 CloudWatch,并可取消作业,以便 Slurm 将其重新排入队列。
为什么仅检查节点运行状况还不够
HyperPod 现有的弹性功能每次只检查单个节点。运行状况监控代理(HMA)会监视每个节点是否出现 Xid 和 NVLink 故障等 GPU 错误、弹性网络适配器(EFA)错误以及内核错误。InstanceStress 深度运行状况检查会运行 DCGM 4 级诊断,并测试每个实例的 GPU、GPU 内存、NVLink 和 EFA 设备。InstanceConnectivity 检查会跨 GPU 实例运行 NCCL 测试,或在 AWS Trainium 上运行 NCCOM 测试。这些检查共同确认各节点的硬件能否正常工作,但无法表明 GPU 的计算是否正确、作业是否仍在取得进展,或集群的 Kubernetes 组件是否健康。以下三类故障可以避开这些检查:
- 数值故障—— GPU 可能通过所有硬件测试,却仍然计算出错误结果。其最初迹象通常是生产运行中出现 NaN 或无穷大的损失值。Meta 表示,在其为期 54 天的 Llama 3 405B 预训练运行中,419 次意外中断里有 6 次是由静默数据损坏造成的(《Llama 3 模型家族》).
- 挂起作业—— NCCL 超时、数据管道停滞或死锁都可能使作业停止运行却不退出。作业会继续占用其 GPU 和显存,而 Slurm 会一直将其报告为正在运行,直到有人检查损失曲线或日志。
- 集群级故障—— 有些故障发生在 Kubernetes 中,而非节点硬件中。例如,设备插件反复崩溃、所需的 DaemonSet 始终未在新节点上启动,或者不同节点上的秩在 NCCL 集合通信中失去同步。HMA 会单独检查每个节点,因此无法发现这些问题。作业失败时,错误信息通常不会指出是哪个 Pod 或节点导致了故障。
解决方案概览
每项功能分别覆盖训练运行中的不同环节。 MultiNodeTrainingValidation 会在实例预置时或按需运行,以确认其 GPU 能够正确执行训练。挂起作业检测会与每个 Slurm 作业同时运行,发现已停止取得进展的作业。HyperPod Kubernetes Resource Monitoring Agent 会持续监视集群,并在作业失败时报告涉及的 Pod 和节点。下表汇总了这三项功能。
| 功能 | 可发现的问题 | 运行时间 | 适用范围 |
MultiNodeTrainingValidation 深度运行状况检查 |
通过硬件检查的 GPU 出现 NaN 或无穷大损失值,或者训练未能及时完成 | 创建或更新实例时,或者按需运行 | EKS 集群中受支持且启用了 EFA 的 NVIDIA GPU 实例 |
| HyperPod Kubernetes Resource Monitoring Agent | 节点状况变化、Pod 和 DaemonSet 故障,以及失败的训练作业,并提供涉及的 Pod 和节点信息;还可提供选择启用此功能的作业的 NCCL 通信状态 | 持续运行 | EKS 集群 |
| 挂起作业检测 | 停止取得进展但未退出的作业 | 每个作业运行期间 | Slurm 集群 |
挂起作业检测是 Slurm 集群的一项新功能。在 EKS 集群上,HyperPod 已经能够检测通过 HyperPod 训练算子运行的挂起作业,而 Ray Train 作业则 默认启用挂起检测。我们将在挂起作业检测部分介绍这两种方案。
每项功能分别针对造成有效吞吐率损失的不同原因。调度有效吞吐率是作业所需全部资源均可用的时间占比。运行时有效吞吐率是这段时间内作业能够向前推进的比例。程序有效吞吐率是作业实际获得的硬件峰值性能占比。下表展示了每项功能产生的影响。
| 功能 | 调度有效吞吐率 | 运行时有效吞吐率 | 程序有效吞吐率 |
MultiNodeTrainingValidation |
未通过训练测试的实例会被标记,并在启用自动节点恢复后被替换,从而避免作业在会产生无效输出的硬件上启动 | 减少因故障 GPU 导致 NaN 或无穷大损失值而作废的训练运行 | 标记未能在时限内完成训练的实例 |
| HyperPod Kubernetes Resource Monitoring Agent | 报告丢失 GPU 或 EFA 设备、缺少设备插件以及存在污点的节点,以便您更快恢复容量 | 指出导致作业失败的 Pod 和节点,以便您更快查明原因并重启作业 | 无直接影响 |
| 挂起作业检测 | 无直接影响 | 可在几分钟内而非数小时后发现挂起作业,并可将其取消,以便 Slurm 重新将其排入队列 | 无直接影响 |
假设一个预训练作业在 32 个 ml.p5.48xlarge 实例(256 个 NVIDIA H100 GPU)上运行。如果作业在凌晨 1:00 挂起,直到上午 9:00 才被发现,就会浪费 256 个实例小时,即 2,048 个 GPU 小时。按照 SageMaker HyperPod 按需价格 (美国东部(弗吉尼亚北部)区域每实例小时约 66 美元)计算,这次挂起将造成约 16,900 美元的成本。采用 15 分钟挂起作业检测规则后,HyperPod 会取消停滞的作业,并由 Slurm 重新将其排入队列。这样,挂起成本将降至约 530 美元,可节省约 16,400 美元。
使用以下功能验证训练的正确性: MultiNodeTrainingValidation 深度运行状况检查
该 MultiNodeTrainingValidation 深度运行状况检查会训练一项固定且已知运行正常的工作负载,先在每个实例上训练,然后跨实例训练。它可以发现这样一些 GPU:虽通过了 InstanceStress 和 InstanceConnectivity 检查,但在协同训练时会产生 NaN 或无穷大损失值。如果某个实例未通过检查,HyperPod 会 将其标记为失败 ,并在启用自动节点恢复后重启或替换该实例。如果检查在预置期间运行,这些操作会在您的作业能够使用该实例之前完成。
工作原理
MultiNodeTrainingValidation 在深度运行状况检查中增加了两项测试:
- 微型 Megatron 测试: 在每个实例的所有 GPU 上运行一次简短的 Megatron-LM 训练。
- Megatron 测试: 在同一类型的多个实例上运行相同的工作负载,并通过 EFA 进行通信。
如果训练损失变为 NaN 或无穷大,或者训练未能在时限内完成,任一测试都会判定实例未通过检查。由于工作负载是固定的,因此失败指向硬件问题,而非模型或代码变更。
下表说明了该检查与其他深度运行状况检查的配合方式。
| 检查 | 运行内容 | 可发现的问题 |
InstanceStress |
GPU 和 NVLink 数量、DCGM 4 级诊断,以及 EFA 延迟和带宽测试(Trainium 上为 Neuron 测试) | 缺失、发生故障或不稳定的硬件 |
InstanceConnectivity |
跨 GPU 实例的 NCCL 测试(Trainium 上为 NCCOM) | 实例之间通信缓慢或中断 |
MultiNodeTrainingValidation |
在每个实例上进行微型 Megatron 测试,并进行跨实例 Megatron 测试 | 能够运行但训练结果不正确的 GPU:损失值为 NaN 或无穷大,或者训练未能及时完成 |
先决条件
您需要具备以下条件:
- 由 Amazon EKS 编排的 Amazon SageMaker HyperPod 集群。
- 一个由支持 EFA 的 NVIDIA GPU 实例类型(例如 ml.p5.48xlarge)组成的实例组。Megatron 测试会在相同类型的实例之间运行。
为实例组启用 MultiNodeTrainingValidation
HyperPod 在创建或更新实例时会运行深度运行状况检查。若要包含 MultiNodeTrainingValidationMultiNodeTrainingValidation OnStartDeepHealthChecks ,请将其添加到 create-cluster DeepHealthCheckType update-cluster中;该字段位于您传递给 CreateCluster 或 UpdateCluster 的实例组配置中。我们启用了全部三项检查:
{
"InstanceGroupName": "<instance-group>",
"InstanceType": "ml.p5.48xlarge",
"InstanceCount": 2,
"LifeCycleConfig": {
"SourceS3Uri": "s3://<bucket>/<prefix>",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::<account-id>:role/<hyperpod-execution-role>",
"OnStartDeepHealthChecks": [
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
}
要确认该设置,请运行以下命令:
aws sagemaker describe-cluster \
--cluster-name <cluster-name> \
--query "InstanceGroups[?InstanceGroupName=='<instance-group>'].OnStartDeepHealthChecks"
输出会列出这三项检查:
[
[
"InstanceStress",
"InstanceConnectivity",
"MultiNodeTrainingValidation"
]
]
按需运行 MultiNodeTrainingValidation
您还可以检查集群中已有的实例,例如在长时间预训练运行之前。请使用 StartClusterHealthCheck API:
aws sagemaker start-cluster-health-check \
--cluster-name <cluster-name> \
--deep-health-check-configurations \
'[{"InstanceGroupName": "<instance-group>", "DeepHealthChecks": ["MultiNodeTrainingValidation"]}]'
若要检查特定实例而不是整个实例组,请将 "InstanceIds": [...] 添加到配置中。
检查结果
HyperPod 会将每项测试的结果各写入一行,写入集群 CloudWatch 日志组中的 DeepHealthCheckResults/<id> 日志流, /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>。以下是我们在两个 ml.p5.48xlarge 实例上运行时生成的日志流。 TINY_MEGATRON 和 MEGATRON 是两项 MultiNodeTrainingValidation 测试:
2026-11-11T10:58:33Z Deep health check configuration validation passed
2026-11-11T11:01:41Z 2 out of 2 nodes succeeded HARDWARE_CHECK test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:16:07Z 2 out of 2 nodes succeeded DCGM test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:17:14Z 2 out of 2 nodes succeeded EFA test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:21:16Z 2 out of 2 nodes succeeded TINY_MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:22:25Z 0 nodes failed NCCL test at batch size 2. Instance IDs: []
2026-11-11T12:22:29Z 2 out of 2 nodes succeeded NCCL test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
2026-11-11T12:26:31Z 0 nodes failed MEGATRON test at batch size 2. Instance IDs: []
2026-11-11T12:26:31Z 2 out of 2 nodes succeeded MEGATRON test. Instance IDs: [i-0a1b2c3d4e5f60001 i-0a1b2c3d4e5f60002]
运行结束后,每个实例都会将结果记录为节点标签:
kubectl get nodes \
-l sagemaker.amazonaws.com/instance-group-name=<instance-group> \
-L sagemaker.amazonaws.com/deep-health-check-status
NAME STATUS ROLES AGE VERSION DEEP-HEALTH-CHECK-STATUS
hyperpod-i-0a1b2c3d4e5f60001 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
hyperpod-i-0a1b2c3d4e5f60002 Ready <none> 120m v1.34.2-eks-ecaa3a6 Passed
有关训练详情,请读取 /var/log/aws/clusters/sagemaker-deep-health-check.log 实例上的日志,例如通过 AWS Systems Manager 会话读取。在运行 rank 0 的实例上,日志末尾会显示 Megatron 测试的摘要:
CONVERGENCE TEST PASSED
Completed 300 training iterations in 161.5s
Training forward steps: 300
Evaluation forward steps: 20
Total forward steps: 320
Final training loss: 3.6213
Initial training loss: 11.5671
Loss reduction: 7.9458
Training iterations per second: 1.86
另一个实例的日志会记录每次迭代,其中包括损失值和 NaN 迭代的累计次数:
iteration 300/ 300 | consumed samples: 9600 | elapsed time per iteration (ms): 509.5 |
learning rate: 1.000E-04 | global batch size: 32 | lm loss: 3.397480E+00 | loss scale: 1.0 |
grad norm: 1.386 | number of skipped iterations: 0 | number of nan iterations: 0 |
在我们的运行中,经过 300 次迭代,损失值从 11.57 降至 3.62,未出现 NaN 或跳过迭代;使用 16 个 H100 GPU 时,每次迭代约耗时 507 毫秒。
MultiNodeTrainingValidation 需要多长时间
在我们的双节点集群上,实例完成生命周期脚本后,完整的深度运行状况检查耗时 1 小时 28 分钟。其中大部分时间用于 DCGM 4 级诊断。这两项 MultiNodeTrainingValidation 测试又增加了约 8 分钟。检查完成前,实例无法承载工作负载,因此在增加容量时,请为这段额外时间做好规划。
| 测试 | 检查 | 距上一个结果的时间 |
HARDWARE_CHECK |
InstanceStress |
3 分钟 |
| DCGM(4 级) | InstanceStress |
74 分钟 |
| EFA | InstanceStress |
1 分钟 |
TINY_MEGATRON |
MultiNodeTrainingValidation |
4 分钟 |
| NCCL | InstanceConnectivity |
1 分钟 |
MEGATRON (2 个实例) |
MultiNodeTrainingValidation |
4 分钟 |
请注意, MultiNodeTrainingValidation 会使用固定的参考工作负载测试硬件。通过测试意味着实例正确训练了该工作负载,但并不能保证您自己的作业能够收敛。我们建议在新容量、替换实例以及长时间预训练运行之前执行该测试。
使用 HyperPod Kubernetes 资源监控代理捕获集群级故障
HMA 会监控每个节点上的硬件,但许多导致训练作业停止的故障发生在 Kubernetes 中。设备插件可能反复崩溃并重启,直到其节点不再向调度器提供 GPU;污点也可能驱逐作业的 Pod。作业错误很少会指出所涉及的 Pod 或节点,因此工程师需要根据 kubectl 输出、各 rank 的日志和时间戳来拼凑事情的经过。
HyperPod Kubernetes 资源监控代理会从集群中的一个位置监控这些资源。发生故障时,它会告知您哪些内容发生了变化,以及哪些节点、Pod 和作业受到影响。它通过 Kubernetes 事件和结构化 CloudWatch 日志进行报告。该代理仅负责报告,不会重启节点或作业,因为问题的原因可能出在工作负载中。HMA 和 HyperPod 节点恢复仍会处理硬件故障,HyperPod 训练算子仍会处理作业重启。
代理的工作原理
该代理在每个集群中以单个 Pod 的形式运行于 aws-hyperpod 命名空间,并优先选择 CPU 节点,因此不会占用 GPU 容量。它会监控以下内容:
- 节点: 代理会报告以下变化:
- 状况变化,例如
NotReady,或者内存、磁盘或 PID 压力。 - 可分配的 GPU 或 EFA 设备减少。
- NVIDIA 功能标签丢失。
- 污点被添加、更改或移除。
- HyperPod 标签缺失。
- 状况变化,例如
- 关键基础设施 Pod: kube-system、aws-hyperpod 和 kubeflow 命名空间中的 DaemonSet Pod,以及训练算子的控制器。该代理会报告崩溃循环、重启、容器错误以及长期未就绪的 Pod。
- DaemonSet: 缺失或没有可用 Pod 的必要 DaemonSet、停滞的发布,以及仍在已不再允许其运行的节点上运行的 Pod。
- 训练作业: HyperPodPyTorchJob、Kubeflow PyTorchJob (v1) 和 Kubeflow TrainJob (v2)。作业失败时,该代理会记录失败原因以及与该作业相关的 Pod 和节点。
- NCCL 通信: 对于选择启用此功能的作业,该代理会读取 NCCL 内置的可靠性、可用性和可维护性 (RAS) 子系统,获取作业的 NCCL 通信器状态。
该代理会在两个位置报告其发现:
- Kubernetes 事件 ,位于受影响的节点、Pod、DaemonSet 或作业上。Warning 事件表示出现问题,Normal 事件表示问题已恢复。您可以使用 kubectl get events 和 kubectl describe 查看这些事件。
- 结构化 JSON 日志 ,位于集群的 CloudWatch 日志组中,可在 Kubernetes 事件过期后保留历史记录。
下表列出了您最有可能看到的事件。
| 事件原因 | 触发条件 |
| 训练作业失败 | HyperPodPyTorchJob 或 Kubeflow 作业失败。消息中包含作业算子提供的失败原因。 |
| 关键 Pod 崩溃循环,关键 Pod 已重启 | 设备插件、HMA 或其他关键 Pod 陷入崩溃循环或发生重启。 |
| 必要的 DaemonSet 缺失 | 您声明为必需的 DaemonSet 缺失或没有可用的 Pod。 |
| 节点资源降级 | 节点的可分配 GPU 或 EFA 设备数量减少或完全消失。 |
| 节点状况降级 | 节点变为 NotReady,或报告内存、磁盘或 PID 压力。 |
| 节点污点已添加,NoExecute 污点已应用 | 节点被添加污点。对于 NoExecute 污点,日志会列出可能被驱逐的 Pod 和作业。 |
| DaemonSet 调度错误 | DaemonSet Pod 正在已不再允许其运行的节点上运行。 |
| 节点已恢复,Pod 已恢复,DaemonSet 已恢复 | 先前报告的问题已消除。 |
有关完整的事件列表,请参阅 文档.
先决条件
您需要具备以下条件:
- 由 Amazon EKS 编排的 SageMaker HyperPod 集群。
- 对于现有集群,需要拥有该集群的 kubectl 和 Helm 访问权限,并获取 sagemaker-hyperpod-cli 存储库中的 HyperPod Helm chart。
- 如果要监控 NCCL 通信,训练容器中需安装 NCCL 2.24 或更高版本。
安装并验证代理
如果您的集群已使用 HyperPod Helm chart,请先应用代理的自定义资源定义(CRD),因为 Helm 在升级期间不会安装 CRD。然后在启用代理的情况下升级该 release:
git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart
helm dependencies update HyperPodHelmChart
kubectl apply \
-f HyperPodHelmChart/charts/hyperpod-kubernetes-resource-monitor/crds/
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
--set hyperpod-kubernetes-resource-monitor.enabled=true \
--set hyperpod-kubernetes-resource-monitor.region=<region>
此次升级还会将 chart 中的其他 HyperPod 组件(例如 HMA 和设备插件)升级到该 chart 的当前版本。若要先查看将发生哪些更改,请运行相同的命令并添加 --dry-run=server.
检查代理是否正在运行,以及其运行状况报告是否存在:
kubectl get deployment \
-n aws-hyperpod \
hyperpod-kubernetes-resource-monitoring-agent
kubectl get hyperpodkrmaconfigs default -o yaml
运行状况报告会列出代理跟踪的 HyperPod 组件(例如 HMA),以及这些组件的状态上次发生变化的时间:
status:
components:
- name: DaemonSet/aws-hyperpod/health-monitoring-agent
since: "2026-11-10T16:47:57Z"
status: Healthy
instances: []
lastReportTime: "2026-11-10T17:19:36Z"
默认情况下,HMA 是唯一必需的 DaemonSet。如果您的集群使用 HyperPod Helm chart 中的设备插件,请将它们添加进来,以便代理能够报告插件缺失的情况。此外,还要添加训练作业运行所在的命名空间,以便代理将 Pod 故障关联到相应作业。每个列表都会替换其默认值,因此请保留默认条目。将以下内容保存为 krma-values.yaml:
hyperpod-kubernetes-resource-monitor:
monitoring:
monitoredNamespaces:
- aws-hyperpod
- kube-system
- default
- kubeflow
- ml-team-a
necessaryDaemonsets:
- name: health-monitoring-agent
namespace: aws-hyperpod
- name: dependencies-nvidia-device-plugin
namespace: kube-system
- name: dependencies-aws-efa-k8s-device-plugin
namespace: kube-system
然后应用该文件:
helm upgrade dependencies HyperPodHelmChart \
--namespace kube-system \
--reset-then-reuse-values \
-f krma-values.yaml
查看代理报告的内容
为了了解 HyperPod Kubernetes Resource Monitoring Agent 如何处理基础设施故障,我们在 aws-hyperpod 中部署了一个小型 DaemonSet,将其固定到一个节点,并让它在启动几秒后退出。它的行为类似于不断崩溃并重启的设备插件,但不会影响真正的插件。几秒钟内,代理就在该 Pod 和 DaemonSet 上触发了事件:
kubectl get events -A \
--field-selector source=hyperpod-kubernetes-resource-monitoring-agent
NAMESPACE TYPE REASON OBJECT MESSAGE
aws-hyperpod Warning CriticalPodRestarted pod/demo-plugin-4wsqw Critical infrastructure pod container crash restarted (count: 2)
aws-hyperpod Warning CriticalPodCrashLoop pod/demo-plugin-4wsqw Critical infrastructure pod container crash in CrashLoopBackOff
aws-hyperpod Warning DaemonSetMisscheduled daemonset/demo-plugin DaemonSet has 1 misscheduled pods
接下来,我们运行了一个双节点 HyperPodPyTorchJob,并让其中一个 rank 在训练期间退出。代理在该作业上触发了 TrainingJobFailed 事件:
NAMESPACE TYPE REASON OBJECT MESSAGE
ml-team-a Warning TrainingJobFailed hyperpodpytorchjob/llama-pretrain Training job HyperPod PyTorchJob failed:
Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb:
A training worker process has crashed: Local Rank 0 exited ...
代理还将故障以及涉及的 Pod 和节点写入 CloudWatch,因此您无需从作业的 Pod 列表中逐一查找它们:
{"level":"warn","msg":"=== Job Failure Detected ===","component":"HyperpodPyTorchJob",
"job":"llama-pretrain","namespace":"ml-team-a","type":"HyperPod PyTorchJob",
"reason":"Fault detected on training pod llama-pretrain-pod-7dc7c-nh5gb: A training worker process has crashed ..."}
{"level":"warn","msg":"Affected Pods","component":"HyperpodPyTorchJob",
"pods":["llama-pretrain-pod-7dc7c-nh5gb","llama-pretrain-pod-7dc7c-f9dmg"]}
{"level":"warn","msg":"Affected Nodes","component":"HyperpodPyTorchJob",
"nodes":["hyperpod-i-0a1b2c3d4e5f60001","hyperpod-i-0a1b2c3d4e5f60002"]}
代理将这些日志写入集群日志组 /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,流名称为 SageMakerClusterMonitoringAgent/<instance-group>/<instance-id>。当代理转移到另一个节点时,它会启动一个新流,因此请按流前缀进行筛选。有关示例查询,请参阅 文档.
监控作业的 NCCL 通信
NCCL 2.24 及更高版本包含可靠性、可用性和可维护性(RAS)子系统。它是每个 NCCL 进程中的一个小型监听器,用于报告作业通信器的状态。对于选择启用此功能的作业,代理每 30 秒从每个 Pod 读取一次该报告。
默认情况下,NCCL 将 RAS 监听器绑定到 localhost Pod 内部,代理无法访问该监听器。若要为作业启用此功能,需要改为将监听器绑定到 Pod IP。这样一来,Pod 网络便可访问端口 28028;NVIDIA 的文档指出,这会带来安全方面的影响。启用前,请应用 Kubernetes NetworkPolicy,仅允许代理的 Pod 访问 TCP 端口 28028,同时仍允许作业自身的 Pod 之间进行通信。代理的 文档 中包含一个策略示例。然后设置 NCCL_RAS_ADDR 训练容器中:
apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
...
containers:
- name: pytorch
env:
- name: POD_IP
valueFrom:
fieldRef: {fieldPath: status.podIP}
- name: NCCL_RAS_ADDR # set only after the NetworkPolicy is in place
value: "$(POD_IP):28028"
若要确认该设置,请使用 启用 NCCL 调试日志记录。 NCCL_DEBUG=INFO 和 NCCL_DEBUG_SUBSYS=INIT,RAS。随后,每个 rank 都会记录 RAS 监听的地址:
[default3]:llama-pretrain-workers-6c7f5bb445-gxnsf:129:203 [3] NCCL INFO RAS client listening socket at 10.0.1.11<28028>
如果地址为 ::1 或者 127.0.0.1, NCCL_RAS_ADDR 未设置,代理将无法连接监听器。
对于每个受监控的作业,代理会将各 Pod 的结果合并为作业级状态。如果每个 Pod 都返回有效报告,则作业状态为健康;如果只有部分 Pod 返回,则为降级;如果均未返回,则为不健康。不健康通常意味着训练进程已停止。
代理会在每个轮询周期后记录摘要。在两台 ml.p5.48xlarge 实例上运行时,每个周期都报告两个训练 Pod 状态健康,周期之间相隔 30 秒:
{"level":"info","timestamp":"2026-11-12T07:14:27.163Z","msg":"NCCL RAS monitoring cycle completed","component":"nccl-ras-informer-llama-pretrain","duration":4.00535305,"total_endpoints":2,"healthy":2,"failed":0,"overall_status":"healthy"}
代理还会将每份 RAS 报告写入 CloudWatch,以便您在作业仍在运行时发现通信器问题。在测试中,我们让一个双节点作业中的一个 rank 停止调用 all_reduce。下一轮轮询的报告显示,该通信器运行不同步,并指出了落后的 rank、GPU、进程和节点:
Group Comms Nodes Ranks Ranks Ranks Status Errors
# in group per comm per node per comm in group
0 1 2 1 2 2 RUNNING MISMATCH
#0-0 (2958ae23ccc57a88) MISMATCH
Communicator ranks have different AllReduce operation counts
Rank 0 has launched up to operation 3078 -- GPU 0 managed by process 473 on node 10.0.1.11
Rank 1 has launched up to operation 3077 -- GPU 0 managed by process 474 on node 10.0.2.22
Rank 1 比 rank 0 落后一个操作,因此请先检查节点 10.0.2.22 上 rank 1 使用的 GPU。
检测并恢复 HyperPod Slurm 集群中的挂起作业
训练作业可能会挂起而不退出。NCCL 超时、停滞的数据管道或死锁都可能导致作业一直占用 GPU,而 Slurm 仍将其显示为正在运行。这种状态会一直持续,直到有人发现损失值或日志已停止变化。使用 Slurm 的团队通常会自行构建看门狗脚本和警报来发现这些作业,之后还必须对其进行维护。
今天,我们推出了适用于 SageMaker HyperPod Slurm 集群的挂起作业检测功能。它可以发现这类作业、向 CloudWatch 写入事件,还可以取消挂起的作业,让 Slurm 将其重新放回队列。您可以通过一个指向小型规则文件的环境变量,为每个作业启用此功能。它不需要修改训练脚本或容器,并且支持 PyTorch、TensorFlow、JAX 和自定义脚本。
挂起作业检测的工作原理
挂起作业检测以代理形式在每个节点上运行,默认处于关闭状态。该代理仅监控设置了 HYPERPOD_HANG_RULES 环境变量且将其指向规则文件路径的作业。规则文件决定代理如何检测作业挂起:
- 默认检测 会监控作业的标准输出和 GPU 活动。当输出长时间停止,而 GPU 处于空闲状态但仍占用显存时,它会判定作业挂起。这正是集合通信挂起的表现:一个节点发生故障,其他节点则在屏障处等待。无论 GPU 正在执行什么操作,如果输出停止的时间更长,它也会判定作业挂起。在我们的测试中,第一种情况在作业最后一次输出后的 15 分钟触发。
- 自定义规则 会使用您选择的正则表达式监控日志。如果在超时时间内未出现训练步消息等指定行,进度规则就会判定作业挂起。一旦出现 NCCL 错误等指定行,错误规则就会判定作业挂起。对于该作业,自定义规则会取代默认检测。
| 默认检测 | 自定义规则 | |
| 启用方式 | {“enabled”: true} | 一个或多个已启用的 log_pattern 规则 |
| 在以下情况下判定作业挂起 | 输出停止且 GPU 处于空闲状态但仍占用显存,或者输出停止了更长时间 | 进度模式未在超时时间内出现,或者出现错误模式 |
| 无法发现的情况 | GPU 持续忙碌却没有取得进展的作业,例如陷入循环的作业 | 您的模式未描述的挂起情况。如果某个模式持续匹配,即使 GPU 处于空闲状态,也不会判定作业挂起 |
当代理判定作业挂起时,它会写入一个 HANG_DETECTED 事件写入 CloudWatch。如果规则文件将操作设置为 cancel, notify代理还会取消该作业,并由 Slurm 将其重新排队。使用默认操作
, 代理会写入事件并让作业继续运行。挂起作业检测与 auto-resume 相互独立
,后者会重启因硬件故障而退出的作业。auto-resume 负责处理崩溃的作业,而挂起作业检测则负责处理仍在运行但没有取得进展的作业。在由 Amazon EKS 编排的 HyperPod 集群上,HyperPod 已经能在两种情况下检测挂起的作业。该 HyperPod 训练运算符 会根据作业规范中的规则检查每个 HyperPodPyTorchJob 的日志,并在作业挂起时重启作业。同样的规则也可以重启吞吐量下降或损失值激增的作业。此功能不需要 Ray。对于 Ray Train 作业, 面向 Ray 的 HyperPod 挂起作业检测 默认监控每个工作节点,无需更改您的代码。
先决条件
您需要满足以下条件:
- 一个由 Slurm 编排的 SageMaker HyperPod 集群。
- 一个于 2026 年 11 月 10 日或之后发布的 HyperPod Slurm AMI,其中包含挂起作业检测功能。在该日期或之后创建的集群已具备此功能。要在不更新现有集群的情况下进行检查,请在集群节点上运行
srun --help。如果输出中列出了--no-hang-detection,则集群支持挂起作业检测。如果不支持,请先 更新集群软件 。更新会替换每个实例的根卷,因此请在更新前备份其中存储的所有内容。 - 作业中的每个计算节点都能从同一路径读取的规则文件。代理会在每个节点上从该路径读取文件。Amazon FSx for Lustre 或 Amazon Elastic File System(Amazon EFS)等共享存储是一种简单直接的选择。若要将规则文件保存在 Amazon Simple Storage Service(Amazon S3)中,请将其复制到每个节点上的同一路径,例如通过生命周期脚本进行复制。如果您计划使用某个目录,例如
/opt/slurm,请先确认它在各节点之间共享,而不是每个节点各自的本地目录。
启用挂起作业检测
在共享存储上创建规则文件。最小的有效文件可启用默认检测:
echo '{"enabled": true}' > /fsx/my-project/rules.json
chmod 600 /fsx/my-project/rules.json
代理会使用作业所指向的任何规则文件,并且不会检查文件所有者。任何能够编辑该文件或在其所在目录中替换该文件的人,都可以更改使用该文件的所有作业的检测设置,包括让代理取消这些作业。该 chmod 600 示例中的做法会将个人规则文件设为仅其所有者可访问。对于团队共享的文件,请使用 chmod 644 ,以便团队可以读取,而只有其维护者可以编辑。无论哪种情况,都应将父目录设为仅其所有者可写,以防他人替换该文件。
然后,在提交作业时将作业指向该规则文件:
#!/bin/bash
#SBATCH --job-name=llama-pretrain
#SBATCH --nodes=4
#SBATCH --export=ALL,HYPERPOD_HANG_RULES=/fsx/my-project/rules.json
srun python train.py
若要让多个作业使用同一个规则文件,您还可以设置 HYPERPOD_HANG_RULES ,可在 shell 配置文件或站点范围的配置脚本中进行设置。
当受监控的作业启动时,其输出的前几行会显示代理已注册该作业:
[Auto Resume] Info: [hang_detection] Exported stdout path for job 1: /fsx/my-project/llama-pretrain-1.out
[Auto Resume] Info: [hang_detection] Registered job step: job=1 step=0 node=ip-10-1-40-47
规则文件无效时也会出现这些行,因此还应检查 CloudWatch 中是否存在 CONFIG_ERROR 事件,具体说明请参阅下一节。
添加自定义规则以跟踪训练进度
默认检测无法发现 GPU 始终处于繁忙状态但训练毫无进展的作业,因此建议至少设置一条规则来监控训练步数或轮次。以下规则文件会在 45 分钟内没有完成任何一个轮次时取消作业,或在出现 NCCL 错误后立即取消作业:
{
"enabled": true,
"rules": [
{
"name": "epoch_progress",
"type": "log_pattern",
"enabled": true,
"log_pattern": "Epoch \\d+/\\d+ complete",
"start_timeout_minutes": 30,
"timeout_minutes": 45,
"stop_pattern": "Training complete"
},
{
"name": "nccl_error",
"type": "log_pattern",
"enabled": true,
"log_pattern": "NCCL error",
"fault_on_match": true
}
],
"action_policy": {
"action": "cancel"
}
}
各字段的作用如下:
- 将每条规则的 enabled 设置为 true。规则默认关闭。
start_timeout_minutes表示作业在该模式首次出现之前可以运行多长时间。其设置值应长于作业加载模型、编译和恢复检查点所需的时间。timeout_minutes表示此后该模式可以持续缺失多长时间。其设置值应长于正常情况下的最大间隔,包括保存检查点和评估所需的时间。stop_pattern会在规则匹配时将其关闭,因此训练结束后的工作不会被标记。fault_on_match用于标记错误模式。只要匹配一次,就意味着作业已挂起。
默认情况下,代理会读取作业的 Slurm 输出文件。若要监视其他文件,请设置 monitoring.log_file。为减少误报,请在规则上设置 metric_evaluation_data_points ,这样代理必须连续多次在间隔 10 秒的检查中发现失败,才会判定作业已挂起。一个规则文件最多可包含 20 条规则,大小上限为 1 MB。
在调整超时时间和模式时,先使用 "action": "notify" ;当事件与实际挂起情况相符后,再切换为 cancel 。
在 CloudWatch 中查看挂起作业检测事件
HyperPod 会将控制器节点上的检测事件写入集群的 CloudWatch 日志组, /aws/sagemaker/Clusters/<cluster-name>/<cluster-id>,位于日志流中 SageMakerHangJobDetectionEvents/<controller-instance-group>/<controller-instance-id>。每个作业的事件都会进入此日志流,无论作业在哪个节点上运行。若要查找某个作业的事件,请按其作业 ID 进行筛选:
aws logs filter-log-events \
--log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
--log-stream-name-prefix SageMakerHangJobDetectionEvents/ \
--filter-pattern '{ $.job_id = "12345" }'
我们在一个包含两个 ml.p5.48xlarge 实例的 HyperPod Slurm 集群上测试了每种检测方法。第一个测试作业分配了 GPU 内存,随后停止生成输出。默认检测在其最后一次输出后的 15 分钟将其标记出来:
{
"time": "2026-11-12T16:49:36.39710952Z",
"level": "INFO",
"msg": "HANG_DETECTED",
"event_type": "HANG_DETECTED",
"job_id": "1",
"step_id": "0",
"node": "ip-10-1-40-47",
"evidence": "stdout stale for 15 min and GPU idle with memory allocated",
"layer": "signal_evaluator",
"detected_at": "2026-11-12T16:49:36.378940227Z",
"job_action": "notify",
"config_source": "per_job_env_var"
}
该 layer 字段显示触发的是哪种方法: signal_evaluator 表示默认检测,或 pattern_evaluator 表示自定义规则。在第二项测试中,一条超时时间为 2 分钟的进度规则在作业最后一个步骤后的 2 分钟触发。在第三项测试中,一条错误规则在作业输出一行 NCCL 错误后约一秒触发。由于该规则文件使用了 cancel,代理还写入了一个 HANG_ACTION_TAKEN 事件,其中包含 Slurm 所执行的操作(我们省略了 time、level 和 msg 字段):
{"event_type":"HANG_DETECTED","job_id":"3","step_id":"0","node":"ip-10-1-40-47","evidence":"rule \"nccl_error\": fault pattern matched immediately","layer":"pattern_evaluator","detected_at":"2026-11-12T16:34:41.870908329Z","job_action":"cancel","config_source":"per_job_env_var"}
{"event_type":"HANG_ACTION_TAKEN","job_id":"3","action":"requeue","node":"ip-10-1-40-47","instance_id":"i-0a1b2c3d4e5f60001"}
Slurm 将作业放回队列,重新排队后的运行约 2.5 分钟后开始。 sacct 显示了两次运行:
$ sacct --duplicates -X -j 3 --format=JobID,State,Restarts,Start,End
JobID State Restarts Start End
----------- --------- ------- ------------------- -------------------
3 REQUEUED 0 2026-11-12T16:34:25 2026-11-12T16:34:41
3 COMPLETED 1 2026-11-12T16:37:10 2026-11-12T16:37:26
Slurm 会将作业重新排队,最多达到集群的 MaxBatchRequeue 限制;我们的集群中该值为 5。使用 提交的作业 #SBATCH --no-requeue 则报告了 "action": "cancel" ,并保持取消状态。使用 notify, 时不会产生 HANG_ACTION_TAKEN 事件。代理会遵循 HANG_DETECTED ,并附有一条内容为 的记录。 Hang notification sent, no automatic action taken.
如果规则文件缺失或无效,代理将不会监视作业,而是写入一个 CONFIG_ERROR 事件。以下是规则文件存在 JSON 语法错误时产生的事件:
{"event_type":"CONFIG_ERROR","job_id":"5","node":"ip-10-1-40-47","config_path":"/fsx/my-project/rules.json","error":"config file found but failed to load: load failed: invalid JSON in config file /fsx/my-project/rules.json: unexpected end of JSON input","message":"Hang detection rules file is invalid and will not be applied. Please fix the rules file and resubmit your job."}
作业在未受监视的情况下运行至完成,并且在 、作业输出或 中均未出现任何内容。 sbatch, squeue在将新规则文件用于生产作业之前,请先用一个短作业进行测试,并检查是否出现此事件。
使用 notify 时,作业会持续运行,直到有人处理该事件。若要收到提醒,请为 HANG_DETECTED 事件创建 CloudWatch 指标筛选器和警报,并让该警报通知 Amazon Simple Notification Service(Amazon SNS)主题:
aws logs put-metric-filter \
--log-group-name /aws/sagemaker/Clusters/<cluster-name>/<cluster-id> \
--filter-name hung-jobs \
--filter-pattern '{ $.event_type = "HANG_DETECTED" }' \
--metric-transformations \
metricName=HungJobsDetected,metricNamespace=HyperPod/HungJobs,metricValue=1
关闭挂起作业检测
要为原本会继承设置的作业关闭检测 HYPERPOD_HANG_RULES,请将 --no-hang-detection 添加到 srun,或者添加到 sbatch ,以覆盖该作业中的每个步骤。要为所有使用规则文件的作业关闭检测,请在文件中设置 "enabled": false 。正在运行的作业会保留其当前设置,此更改将应用于此后提交的作业。
srun --no-hang-detection python train.py
结论
节点健康状况对于可靠的分布式训练至关重要,但它并不能全面反映工作负载的健康状况。 MultiNodeTrainingValidation 可检测通过硬件诊断但产生无效训练结果的实例。HyperPod Kubernetes 资源监控代理可将 Kubernetes 基础设施故障与相关作业、Pod 和节点关联起来。挂起作业检测可识别停止取得进展后仍保持活动状态的 Slurm 作业,并能自动将其重新放回队列。
这些功能共同帮助您更早发现故障、缩短调查时间,并通过减少无法取得有效进展的工作负载所占用的 GPU 时间来提高有效训练时间占比。使用 MultiNodeTrainingValidation 添加或重新验证容量,在受支持的 Amazon EKS 集群上持续运行 HyperPod Kubernetes 资源监控代理,并先以通知模式启用挂起作业检测,再切换为自动取消模式。要开始使用,请参阅 适用于 Amazon EKS 的 SageMaker HyperPod 弹性文档 以及 适用于 Slurm 的挂起作业检测文档。要了解更多信息,请访问 Amazon SageMaker HyperPod 产品页面.
AI 热点