AI 热点

AWS 为 SageMaker HyperPod Slurm 推出托管集群扩展

Unite.AI更新于 11月21日 08:02

AWS Adds Managed Cluster Extensions to SageMaker HyperPod Slurm

AI 导读

AWS 为 Amazon SageMaker HyperPod Slurm 推出托管集群扩展,可通过 API 或 SageMaker AI 控制台声明式管理运行节点的软件。首批扩展覆盖可观测性和用户管理,支持 CloudWatch、Prometheus、Active Directory 等服务;扩展本身不额外收费,并已在 SageMaker HyperPod 支持的所有区域上线。

正文 · AI 翻译

Amazon Web Services 于 2026 年 11 月 20 日为 Amazon SageMaker HyperPod Slurm 推出托管集群扩展,可通过 API 或 SageMaker AI 控制台对运行中节点上的软件进行声明式配置。首批两个扩展涵盖可观测性和用户管理,包括目录集成。

此次发布解决了共享 AI 训练集群在预置后发生变化的部分。2026 年期间,HyperPod 已增加 API 驱动的 Slurm 配置、基于 AMI 的节点设置、持续预置、自动拓扑管理和深度运行状况检查。这些功能用于管理集群的定义、容量、网络布局和硬件运行状况;集群扩展则将同样的方法应用于节点软件,以适应研究团队、监控要求和软件包版本的不断变化。

节点软件的期望状态

管理员可以通过控制台、AWS CLI 或 SDK 安装、配置、更新和移除 AWS 托管的软件包。HyperPod 会在部署前依据所选扩展版本的架构验证设置,并将请求的版本和设置记录为期望状态。随后,节点代理只会应用每个节点角色所需的组件,包括通过扩缩容或替换而新增的节点。

更新时只需提交发生变化的设置。HyperPod 会将其合并到已存储的配置中,并且只重启受影响的组件,无需替换节点或重新运行生命周期脚本。安装新扩展版本也不需要更新 AMI。HyperPod 会在部署前依据新版本的架构检查已存储的设置,并且升级只能向前进行。

每个扩展在部署期间报告 Creating 或 Updating;当每个节点都在运行所请求的配置且没有报告问题时,状态为 Active;当节点失败或报告问题时,状态为 Degraded。DescribeClusterExtension 按原因对节点级运行状况问题进行分组,并提供代码、消息和受影响节点数量。HyperPod 会重试内部故障;对于其他原因,管理员可以进行修正,然后发起不含任何配置更改的更新调用,以重试受影响的节点。

可观测性和用户管理

sagemaker-observability 扩展会收集节点、GPU、Elastic Fabric Adapter、Slurm 作业和 Slurm 集群指标,并将其发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus。指标类别、级别和收集间隔均可配置,而节点只运行与其角色相关的组件,例如 GPU 节点上的 DCGM 和 EFA 导出器,以及控制器上的 Slurm 集群指标组件。

可选的 Amazon Managed Grafana 工作区提供预先创建的 Clusters 和 Jobs 控制面板。它们将集群范围的运行状况和 Slurm 状态,与各节点的基础设施指标及单个作业的资源使用情况关联起来,其中包括 CPU、内存、GPU 利用率、磁盘 I/O 和 NCCL 数据。

sagemaker-user-management 扩展会在各节点上创建 ID 一致的 Linux 用户和组,按节点类型控制 SSH 和无密码 sudo 访问,并在 Slurm 计费系统中注册用户。账户可以在本地声明、通过 LDAPS 从 Active Directory 获取,或同时采用这两种方式,其中包括连接到 AWS Directory Service for Microsoft Active Directory。新增和替换的节点会获得相同的配置,管理员也可以通过 API 审查访问权限,而无需登录每个节点。

迁移、权限和成本

集群扩展要求 HyperPod Slurm 集群使用 2026 年 11 月 2 日发布的 HyperPod AMI 或更高版本,并启用持续预置。由于扩展以 root 身份运行软件,AWS 将创建、更新和删除权限视为管理员权限,并建议不要将这些权限授予集群执行角色。该角色仍需拥有访问指标目标和 Active Directory 密钥的权限,而用户管理则要求使用共享文件系统存放主目录。不同的扩展 ARN 使平台团队和监控团队能够分别拥有不同扩展的管理权。

现有集群可以逐项迁移功能,同时让脚本和扩展共存。该过程需要更新集群软件、在生命周期脚本中禁用相应功能、在维护窗口期间手动移除由脚本安装的代理,并在清理后的集群上创建扩展。每个组件只能有一个管理方:同时通过两种机制管理同一个导出器、用户或服务,可能导致安装或运行时冲突。自定义 AMI 和生命周期脚本仍可用于组织特有的软件,管理员也仍然可以通过 SSH 和直接配置访问每个节点,包括控制器。

这两个扩展已在 SageMaker HyperPod 支持的所有区域推出。集群扩展不收取额外费用,但客户需要为 CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager 等底层资源付费。

对于共享的基础模型集群,其运维意义在于,常用节点软件将成为集群状态中以声明方式定义、持续接受检查的一部分,而不再只是一组预置脚本。移除由脚本安装的代理是迁移整个节点群时唯一需要手动执行的步骤;此后,扩容新增的节点和替换节点都会继承相同的扩展设置,而组织特有的工具仍由集群团队掌控。

来源

Unite.AI