Together AI 详解 GPU 集群自动修复:从 GPU 故障到健康节点
Together AI 介绍其 GPU 集群自动修复系统,已正式提供被动健康检查、修复建议、自动修复策略(含按故障和按节点授权)、等待空闲控制、升级阶梯、安全护栏以及 API 与控制台修复,基于节点标签的自定义检测接入仍为预览。系统分检测、决策、修复、复验四阶段,前三个阶段在用户集群内运行,复验在 Together 侧对腾出的物理机执行。平台按信号映射最轻修复动作,用户可决定是否自动执行及等待时长,同一故障同一动作重复两次后自动升一级。

反复重启 在 Slurm 上,导出器会报告被标记为 DOWN 或 DRAIN 的节点。 在主机上, 我们监控 InfiniBand 通道状态和链路抖动,并将其归因于拥有这些通道的 VM。我们还监控主机可达性,因此死掉的主机会在您的节点上显示为问题,而不是一片沉默。 每个告警都附带稳定的摘要、通俗语言的描述和机器可读的证据载荷。对于 Xid,就是每个代码及其 NVIDIA 助记符。对于热降频,就是峰值温度和降频次数。控制平面原样传递这些字符串,因此控制台、API(作为 linked alerts)和您的通知始终表达相同的内容。 我们将观测与可操作区分开来。每个与修复相关的告警都会被记录,并将您的节点标记为 Degraded. 只有具有操作映射的信号才会创建修复。例如,磁盘压力会显示出来,但不会触发重启,因为重启无法解决它。没有映射的告警会被计数并记录,绝不会被静默丢弃,并会转交我们的支持团队进行调查。 2. 策略:我们决定做什么,您决定是否以及何时做 做什么 由平台负责。每个信号都映射到能修复它的最轻量操作,因此您无需知道哪个 Xid 意味着什么: 是否 由您决定。在“修复”选项卡中,
匹配字段正文


