人工智能

Amazon SageMaker HyperPod 推出增强型基础设施可观测性功能

大规模模型训练是可在 GPU 上运行的成本最高的工作负载之一,单个状态异常的加速器就可能导致整个分布式任务停滞。当训练吞吐量下降时,难点通常不在于发现出了问题,而在于找出原因和位置。团队经常需要花费数小时甚至数天筛查日志和彼此割裂的控制面板,以确定性能下降究竟是由 GPU 节流、网络链路饱和,还是主机上的数据管道停滞引起的。

今天,我们宣布 Amazon SageMaker HyperPod 推出增强型可观测性功能。这项新功能可帮助您更快地诊断 GPU 训练问题,并为在 Amazon Elastic Kubernetes Service(Amazon EKS)和 Slurm 编排器上运行的训练工作负载整合以下诊断和性能分析功能:

诊断摘要 使用 Amazon CloudWatch 的 DetectGroupOutliers API,比较训练任务中每个 GPU 的利用率、内存、温度、功耗和 SM 时钟频率,并标记偏离同组其他 GPU 的设备。静态诊断规则可呈现常见故障模式,例如 GPU 硬件故障(XID 错误、ECC 内存错误)、EFA 吞吐量下降、热节流和过热,让您能在性能下降影响训练之前发现问题。

为什么需要此功能

分布式训练成本高昂,微小的效率损失累积起来也会浪费大量 GPU 使用时间。此前,要了解 HyperPod 基础设施的运行状况,需要将多个独立工具拼接起来;即便如此,指标也只能告诉您性能已经下降,却无法说明原因。

增强型可观测性填补了三个方面的空白。无论问题源于 XID 错误、ECC 内存故障还是热节流,它都能从数百或数千个 GPU 中找出单个异常加速器,让您把时间花在解决问题上,而不是查找问题上。

这些功能共同缩短了故障排除时间,并帮助您让昂贵的加速器保持高效运行。

工作原理

每项功能分别针对分布式训练任务的不同层面。

默认指标和高级指标

增强型可观测性在两个级别收集遥测数据:

默认指标 (自动启用)涵盖集群运行状况、CPU/磁盘/操作系统级使用情况、GPU 利用率和温度,以及每个任务的资源利用率。这些指标每 30 秒收集一次并发送到您选择的指标存储,约产生 1–2% 的 CPU 开销,并占用 250–300 MB 内存。

高级指标 (选择启用)提供更深入的可见性:

  • 完整的节点导出器套件: 全面的主机级指标。
  • 所有 NVIDIA GPU DCGM 和 AWS Neuron 指标: 详细的加速器遥测数据,包括时钟频率、功耗、PCIe 活动和错误指示器。
  • 弹性结构适配器(EFA)指标: 网络接口吞吐量、丢包、重传和错误。

高级指标为可选项,因为它们会增加发送到指标存储的遥测数据量,从而带来成本影响。大多数在小型集群上运行小型任务的客户可能不需要这些指标,但对于大型集群上长时间运行的训练任务而言,它们至关重要,因为相关模式会随着时间推移逐渐显现。

指标存储

您可以选择以下两种指标存储:

  • Amazon CloudWatch (新的默认选项)通过 CloudWatch SageMaker Insights 提供原生监控,因此无需离开 AWS 管理控制台即可将指标可视化。
  • Amazon Managed Service for Prometheus 适用于将 Prometheus 和 Grafana 标准化用于可观测性的团队。

此前仅支持 Prometheus。CloudWatch 现在是默认选项,与 Amazon Managed Service for Prometheus 相比价格更低,并且与 SageMaker 控制台的集成更加紧密。

诊断摘要

诊断摘要使用两种互补方法来呈现整个 HyperPod 集群中的问题。

GPU 异常值检测 使用 CloudWatch 的 DetectGroupOutliers API,比较训练任务内各 GPU 的利用率、内存使用量、温度、功耗和 SM 时钟频率。当某个 GPU 明显偏离同组其他设备时,它会作为异常值卡片显示在诊断摘要中。此功能同时适用于 EKS 和 Slurm 任务。

静态诊断规则 评估已知故障模式,并按类型整理检测到的问题:

  • 硬件: GPU ECC 内存错误、XID 故障和加速器故障。
  • 网络: EFA 吞吐量下降、丢包和重传。
  • 节流: 因温度、电路板或可靠性限制而发生的 GPU 时钟节流。
  • 过热: GPU 温度超过配置的限制。

每个检测到的问题都会标明受影响的任务、集群、节点、加速器和秩。

如何开始使用

增强型可观测性以附加组件形式提供给由 EKS 编排的集群,并以扩展形式提供给由 Slurm 编排的集群。这意味着,您可以通过 AWS Identity and Access Management(IAM)控制谁能够安装或更改它。

第 1 步:创建 SageMaker HyperPod 集群

如果您已有集群,可以直接使用。要创建新的 SageMaker HyperPod 集群,可以按照 分步说明操作。总体步骤如下:

  1. 在 Amazon SageMaker AI 控制台的导航窗格中,选择 HyperPod 集群 。
  2. 选择 创建 HyperPod 集群,然后选择 在 Amazon EKS 上编排 或 由 Slurm 编排.
  3. 。对于 设置选项,选择 自定义设置.
  4. 。对于 名称,输入一个名称。对于
  5. 实例恢复 ,选择自动 。选择.
  6. 提交 。.

以下屏幕截图显示了“创建 HyperPod 集群”页面。

Create HyperPod cluster page on Amazon EKS with Custom setup selected

图 1:使用“自定义设置”在 Amazon EKS 上创建 HyperPod 集群

第 2 步:配置 HyperPod 可观测性

在 自定义设置 工作流程中,展开 HyperPod 可观测性 部分:

  1. 启用 HyperPod 可观测性 默认处于选中状态。仅当您不希望启用可观测性时才取消选中。
  2. 可观测性指标 显示默认指标(集群运行状况、CPU/磁盘/操作系统、GPU 利用率/温度、每个任务的资源)以及可选的高级指标。
  3. 根据需要选择高级指标:完整的节点导出器指标套件、所有 NVIDIA GPU DCGM/Neuron 指标以及 EFA 指标。
  4. 启用日志记录 为容器和 Pod 日志创建 CloudWatch 日志组。
  5. 对于 指标存储,请选择 Amazon CloudWatch (默认)或 Amazon Managed Service for Prometheus.
  6. 对于 Grafana 工作区,请选择创建新工作区、使用现有工作区或选择“无”。
  7. 配置 IAM 角色,或让控制台自动创建这些角色。

下图显示了自定义设置路径中的 HyperPod 可观测性配置选项:

HyperPod observability section showing default and advanced metrics, metric store, and Grafana workspace options

图 2:HyperPod 可观测性部分,其中显示了默认指标和高级指标、指标存储(CloudWatch 或 Prometheus)以及 Grafana 工作区

注意: 在快速设置中,HyperPod 可观测性默认启用且无法取消选中。自定义设置允许您控制要启用的指标类别和高级指标。

第 3 步:使用 CLI 安装可观测性附加组件(EKS 的替代方式)

您可以从 AWS 管理控制台或通过 API 安装 HyperPod 可观测性附加组件(EKS)或扩展(Slurm)。或者,也可以使用 AWS 命令行界面(AWS CLI)安装该附加组件。

以下命令创建附加组件、启用基本指标类别,并保持选择性启用的分析功能处于关闭状态:

aws eks create-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30}
        },
        "profilesProvider": {
            "hostProfiling": {"enabled": false}
        }
    }'

验证该附加组件是否为 ACTIVE:

aws eks describe-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --query 'addon.status'

下图显示了集群“附加组件”选项卡中的可观测性附加组件。

Add-ons tab on a HyperPod EKS cluster showing the Amazon SageMaker HyperPod observability add-on as Active with Amazon CloudWatch as the metrics store

图 3:集群“附加组件”选项卡中的可观测性附加组件,处于活动状态并将指标发送到 Amazon CloudWatch

第 4 步:启用指标(EKS)

您可以随时启用或禁用任意指标类别或分析功能。对于 EKS 集群,请使用 AWS 命令行界面(AWS CLI)更新附加组件配置。以下命令可启用高级网络(EFA)指标:

aws eks update-addon \
    --cluster-name <cluster-name> \
    --addon-name amazon-sagemaker-hyperpod-observability \
    --region <region> \
    --configuration-values '{
        "metricsDestination": "cloudwatch",
        "metricsProvider": {
            "nodeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "scrapeInterval": 30},
            "networkMetrics": {"level": "ADVANCED", "scrapeInterval": 30}
        }
    }'

在控制台中,选择 操作,然后选择 编辑 附加组件卡片,以进行相同的更改。下图显示了 操作 按钮。

Observability add-on Actions menu with Edit, Update version, Delete, and View in EKS options

图 4:使用“操作”→“编辑”启用或禁用指标类别和分析功能

Slurm 集群:安装或编辑可观测性扩展

在由 Slurm 编排的集群上,HyperPod 可观测性是一项集群 扩展。在集群详细信息页面中,打开 扩展 选项卡。如果已安装该扩展,请选择 操作,然后选择 编辑。下图显示了 Slurm 集群 扩展 选项卡中的可观测性扩展。

Slurm cluster Extensions tab showing the HyperPod observability extension as Active

图 5:Slurm 集群“扩展”选项卡中的可观测性扩展,其中包含“操作”→“编辑”

编辑页面可为每个指标类别设置采集级别。

Edit HyperPod observability page for a Slurm cluster showing metric categories with collection levels, host profiling, and metric store

图 6:在 Slurm 集群上编辑可观测性:指标类别、主机分析和指标存储

要改用 AWS CLI 安装扩展,请执行以下操作:

aws sagemaker create-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-name sagemaker-observability \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "BASIC", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        },
        "profilesProvider": {"hostProfiling": {"enabled": false}}
    }'

要启用 EFA 指标,请更新扩展:

aws sagemaker update-cluster-extension \
    --cluster-arn <cluster-arn> \
    --extension-arn <extension-arn> \
    --region <region> \
    --configuration-values '{
        "metricsProvider": {
            "clusterMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "nodeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "acceleratedComputeMetrics": {"level": "ADVANCED", "collectionIntervalSeconds": 30},
            "networkMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30},
            "jobMetrics": {"level": "ENABLED", "collectionIntervalSeconds": 30}
        }
    }'

使用以下命令检查状态: aws sagemaker describe-cluster-extension --cluster-arn <cluster-arn> --extension-arn <extension-arn>.

第 5 步:确认指标正在流式传输

集群准备就绪后,转到集群的详细信息页面。新的 可观测性 选项卡会显示概览,其中包括:

  • 节点: 节点总数(例如 128)。
  • 加速器: GPU/加速器总数(例如 1024)。
  • 任务: 正在运行和近期的训练任务数量。
  • 平均 GPU 利用率: 整个机群的平均值(例如 87.3%)。
  • 平均 vCPU 利用率: 整个机群的平均值(例如 76.8%)。
  • 平均内存利用率: 整个机群的平均值(例如 83.5%)。

下图显示了“集群可观测性”选项卡,其中包含概览指标、正在运行和近期的训练任务以及当前问题:

Cluster Observability tab with overview metrics, active and recent training jobs, and active issues

图 7:新的“可观测性”选项卡——机群概览、正在运行的训练任务和检测到的问题

CloudWatch 控制面板

在“可观测性”选项卡中,选择 打开控制面板 以转到 CloudWatch SageMaker Insights 体验。该控制面板提供以下多个视图:

诊断摘要

“诊断摘要”显示在 HyperPod 集群中检测到的事件。无论根本原因是硬件故障、网络问题、节流还是过热,您都可以准确定位。

选择任意事件卡片可查看更多详细信息。每张卡片都会列出受影响的任务、集群、加速器和秩。

以下屏幕截图显示了“诊断摘要”选项卡:

Diagnostic summary tab listing detected incidents with severity, job, cluster, accelerator, issue type, and a cross-layer summary

图 8:诊断摘要,其中每张事件卡片都会列出任务、集群、加速器和问题类型,并提供跨层说明

下图显示了事件详细信息:

Incident detail showing overview, detection, resolution, affected job and instance, and network evidence charts against the fleet average

图 9:事件详细信息,其中显示受影响的任务、集群、实例和加速器,并提供与机群平均值对比的证据图表

硬件选项卡

“硬件”选项卡提供加速器机群的设备级视图。机群拓扑图显示每台设备的状态(活动、空闲和运行状况不佳)。设备表列出了加速器类型、所属团队、利用率、温度、EFA 使用情况、状态以及每台设备上运行的工作负载。您可以按状态、加速器或团队进行搜索和筛选,从而快速找到运行状况不佳的设备。

以下屏幕截图显示了“硬件”选项卡:

Hardware tab with fleet topology of device states and a device details table

图 10:“硬件”选项卡,其中显示机群拓扑以及每台设备的加速器、团队、利用率、温度、EFA、状态和工作负载

工作负载选项卡

“工作负载”选项卡列出了正在运行和近期的训练任务,以及任务类型(例如分布式训练、微调或强化学习)、状态和持续时间。该选项卡还显示每个任务的资源使用情况:EFA、GPU 和 CPU 利用率以及内存。它还会标记网络使用异常的任务。

以下屏幕截图显示了“工作负载”选项卡:

Workload tab listing training jobs with type, status, duration, and per-job EFA, GPU, CPU, and memory usage.

图 11:“工作负载”选项卡,其中显示训练任务以及每个任务的 EFA、GPU、CPU 和内存使用情况

您可以选择一个任务以查看更多详细信息。以下屏幕截图显示了任务详细信息视图:

Job detail view with core compute, memory and bandwidth, clock and thermal metrics, workload charts, and Profile CPU and Inspect NCCL actions

图 12:任务详细信息,其中显示加速器指标

网络选项卡

“网络”选项卡汇总了分布式工作负载的节点间通信结构运行状况。概览指标包括机群平均 EFA 利用率、性能下降的节点数量和重传次数。按实例类型细分的视图显示了每种实例类型中运行状况良好和性能下降的节点占比。

以下屏幕截图显示了“网络”选项卡:

Network tab with fleet EFA utilization, degraded nodes, retransmits, average NCCL all-reduce latency, and EFA health by instance type.

图 13:“网络”选项卡,其中显示通信结构概览以及按实例类型划分的 EFA 运行状况

Amazon Managed Grafana 控制面板

在集群的“可观测性”选项卡或“附加组件”页面中,选择 在 Grafana 中打开控制面板 ,以访问预构建的 Amazon Managed Grafana 控制面板。这些控制面板提供 HyperPod 集群的全栈可见性,并从集群、节点、GPU、网络和任务等维度对来自 CloudWatch 或 Prometheus 的遥测数据进行可视化。

注意: 如果是首次使用 Grafana,您必须先配置 AWS IAM Identity Center 并添加 Grafana 用户。在创建集群时选择 Grafana 指标存储选项后,系统会提供相关文档链接。

以下屏幕截图显示了一个预构建的 Grafana 控制面板:

Prebuilt Amazon Managed Grafana dashboard visualizing full-stack HyperPod telemetry.

图 14:预构建的 Grafana 控制面板,其中显示每个节点和 GPU 的 GPU 性能指标

现已推出

Amazon SageMaker HyperPod 的增强型可观测性功能现已在所有提供 SageMaker HyperPod 的 AWS 区域推出。

了解更多:


关于作者