人工智能
Amazon SageMaker AI 现可检测推理端点的延迟漂移、闲置 GPU 和未采用的优化措施每个推理端点在投入生产之初都经过精心调优。团队会选择适合模型及其上线时流量的实例类型、服务配置和扩缩设置。端点平稳提供服务后,他们自然会转向下一个优先事项。然而,工作负载很少保持不变。流量模式不断演变,提示词越来越长,vLLM 等服务引擎会发布新版本,SageMaker 推理会开发新的优化技术,新的微调检查点也会改变模型所需的资源。随着时间推移,原本调优良好的端点会悄然发生漂移。延迟和首个 token 生成时间逐渐上升。原本就不够理想的配置持续错失可获得的性能提升。为未曾出现的需求而配置的 GPU 一周又一周地闲置。由于没有发生故障,也就不会触发警报,因此这种漂移往往无人察觉,直到用户有所感知或账单反映出问题。
Amazon SageMaker AI 现在会监测您的生成式 AI 推理端点,并通过使用 生成式 AI 优化推理建议 功能以及 Amazon SageMaker Studio中的智能体体验,告知您何时可通过更改配置来提升性能或降低成本。对于使用 vLLM 服务容器和 GPU 实例的 SageMaker AI 推理端点,监测功能默认开启,无需任何设置,您也可以选择让端点退出监测。SageMaker AI 仅查看运行信号:延迟、GPU 利用率以及端点的服务配置。它不会读取您的请求或响应。系统会根据这些信号提供三类发现:
- 延迟漂移: 端到端延迟中位数(p50)或首个 token 生成时间逐周上升。
- 未使用的容量: 您付费使用的 GPU 大部分时间处于闲置状态。
- 配置缺口: 服务容器缺少较新的性能改进或安全补丁,或者您的模型支持推测解码或 GPU 内核调优等优化,但端点并未使用。
SageMaker AI 会通过 AWS Health 发送发现通知,每个端点发送一条涵盖该端点所有发现的通知。收到通知后,您可以在一个位置采取行动。通知会在 Amazon SageMaker Studio 中打开 SageMaker AI 智能体体验,并预先填入端点及其近期流量信息。随后,您可以运行推理建议,对当前配置和备选方案进行基准测试,并并排比较响应时间、吞吐量和每百万 token 的成本。这会将依赖主观判断的选择转化为有数据支持的决策。基准测试在独立的计算资源上运行,在您选择应用某项结果之前,端点不会发生任何变化。
本文将介绍 SageMaker AI 如何监测您的端点,以及如何解读它通过 AWS Health 发送的通知。接着,我们会说明如何从一条通知出发,在 SageMaker Studio 中做出有基准测试数据支持的决策。我们将逐步讲解三个示例场景,展示如何安全地应用或忽略建议,并说明如何让端点退出监测。
解决方案概述
SageMaker AI 推理建议遵循一个四步循环:观察、通知、建议和决定。每个步骤都旨在确保控制权始终掌握在您手中;未经您明确操作,生产端点不会发生改变。
- 观察 — 符合条件的端点默认开启延迟和容量使用情况监测。该功能不会读取您的请求或响应,也不会产生额外的 GPU 成本。
- 通知 — 当出现值得采取行动的情况时,您会在 AWS Health 中收到一条通俗易懂的通知,同时还会收到电子邮件,其中会说明观察到了什么、为何重要以及建议采取的下一步行动。
- 建议(选择启用)— 只需选择一次,即可在 SageMaker Studio 中打开 SageMaker AI 智能体体验,其中已预先填入端点及其观测流量,供您使用独立计算资源对备选方案进行基准测试。
- 决定 — 并排比较响应时间、吞吐量和成本。在您应用某项结果之前,生产环境不会发生改变。
该功能会生成几类发现。下表概述了各类发现的触发条件,以及您选择运行基准测试时将测试的内容。
| 发现 | 触发条件 | 基准测试的内容 |
| 延迟漂移 | 响应时间相对于端点的逐周趋势发生变化 | 张量并行设置以及其他实例类型或大小 |
| GPU 利用率不足 | 在观测时间窗口内,GPU 利用率持续远低于容量 | 按照观测到的峰值流量测试更便宜的实例类型和更小的实例规格 |
| 未启用推测解码 | 模型和容器支持推测解码,但该功能处于关闭状态(基于配置判断) | 将当前配置与启用推测解码的配置进行比较 |
| 服务容器 | 端点的服务容器已有更新版本,其中包含性能改进,以及针对严重和高危常见漏洞与披露(CVE)发现的安全补丁。 | 将当前容器与更新后的容器进行比较 |
| 未调优的 GPU 内核 | 内核配置尚未针对模型和硬件进行调优 | 将默认内核与调优后的内核进行比较 |
先决条件
监测本身无需设置,默认处于开启状态。当您选择通过运行基准测试来处理某项发现,并可选择应用更改时,需要满足以下先决条件:
- 拥有 AWS Health 和 AWS 用户通知控制台的访问权限。
- 拥有 SageMaker Studio 域,以及运行推理建议作业和更新端点所需的 AWS Identity and Access Management(IAM)权限。
- 对于要测试的基准实例,拥有足够的服务配额。
成本说明: 监测不产生 GPU 成本。基准测试按 SageMaker AI 标准费率收费;如果您拥有机器学习(ML)预留资源,也可以使用该资源。
了解发现通知
您会在控制台的 AWS Health 中以及通过电子邮件收到通知。每条通知都采用相同的结构,便于快速浏览:
- 端点: 该发现适用的端点。
- 我们注意到的情况: 以直白的语言说明观察结果,并将估算值明确标注为估算。
- 为何重要: 对延迟、容量或成本的影响。
- 建议的操作: 在 SageMaker Studio 中一次选择即可进入智能体体验进行调查。
通知会报告观察结果并标明估算值。此时尚未运行任何基准测试。以下是一条典型通知:
|
主题:[可能需要采取操作] 针对您的端点的 SageMaker AI 推理改进建议 SageMaker AI 默认跟踪推理端点的延迟和容量使用情况,并发现其中一个端点存在改进空间。它不会读取您的请求或响应。 我们注意到的情况:过去一周,该端点的首个 token 生成时间较前一周有所增加。 建议的操作:打开 SageMaker Studio,在独立计算资源上对备选方案进行基准测试。您的生产端点不会发生更改。 |
频率: 每个端点会收到一条涵盖所有适用发现的通知。每次每个端点最多收到一条通知,其中会涵盖该端点的所有发现;SageMaker AI 还会限制一个账户同时收到的通知数量。通知按 AWS 区域划分,因此,登录端点所在区域后,您才能看到该端点的发现。
演练:从通知到决策
本节将介绍几个会触发端点优化发现报告的场景。
场景 1:发现逐周延迟回退
某团队在单个 SageMaker AI 端点上运行聊天助手。为提高回答质量,他们加入了检索功能,因此现在每个请求都会携带数页检索到的上下文,提示词也变得更长。系统没有出现故障,他们设置的警报也未触发,但响应开始变慢。
SageMaker AI 会将端点的首个 token 生成时间中位数(p50)和端到端延迟中位数与前一周进行比较。如果其中任一指标在一周内增幅达到一定程度,系统就会标记这一变化。由于比较基于端点自身的历史数据,团队无需预先设置阈值。
- 通知: AWS Health 报告首个 token 生成时间较前一周有所增加。
- Studio 会话: 只需一次选择,即可打开智能体体验,其中已预先填入端点及其观测到的流量。
- 基准测试: 会话会在独立计算资源上测试张量并行设置以及其他实例类型或大小。
- 决策: 团队比较延迟、吞吐量和成本,然后将胜出的配置应用于一个变体。
以下屏幕截图显示了针对延迟漂移发现的 AWS Health 事件。消息报告称,首个 token 生成时间中位数较前一周增加了约 200 毫秒,“建议的操作”窗格提供了前往 SageMaker AI 运行推理建议的链接。
图 1:针对延迟漂移发现的 AWS Health 事件,其中包含在 SageMaker AI 中运行推理建议的链接
场景 2:启用可使您的流量受益的优化
某平台团队在 SageMaker AI 端点上托管内部代码补全模型。他们使用默认服务设置部署该模型,此后从未重新审视这些设置。该模型和服务容器支持推测解码,这是一种可加快响应速度的技术,但尚未启用。SageMaker AI 将此标记为一个优化机会。它是否有效取决于端点的流量特征,例如并发运行的请求数量以及提示词和响应的长度。通知建议运行推理建议,针对端点近期流量对推测解码进行基准测试,并显示是否值得启用该功能。
- 通知: AWS Health 报告称,系统支持一种旨在加快响应速度的技术,但该技术尚未启用。
- Studio 会话: 打开智能体体验时,端点配置已加载。
- 基准测试: 会话会将当前配置与启用推测解码后的配置进行比较。高峰流量与非高峰流量下的结果可能有所不同。
- 决策: 如果在关键流量条件下仍能保持收益,团队就会应用该配置;否则,他们将保留当前配置。
以下屏幕截图显示了针对推测解码发现的 AWS Health 事件。消息报告称,模型和服务容器支持推测解码,但端点并未使用该功能。“建议的操作”窗格提供了前往 SageMaker AI 运行推理建议的链接。
图 2:针对推测解码发现的 AWS Health 事件,其中包含在 SageMaker AI 中运行推理建议的链接
通知说明,推测解码可以加快响应速度,基准测试会根据端点近期流量比较启用和未启用该功能时的响应时间。
场景 3:合理调整利用率不足的 GPU 规格
某个摘要生成端点原本按照一次发布活动的规模配置,但实际受众仅为计划的一小部分,因此其 GPU 在一周内大部分时间处于闲置状态。该场景也表明,有时正确的决定可能是完全不做更改。
- 通知: AWS Health 报告称,该端点为大量未使用的 GPU 容量支付了费用。
- Studio 会话: 打开智能体体验时,其中已加载端点及其观测到的峰值流量。
- 基准测试: 会话会按照观测到的峰值流量测试更便宜的实例类型和更小的实例规格。
- 决策: 团队会权衡每月节省的成本与为计划增长预留的余量,并可能决定保留当前规格。
以下屏幕截图显示了针对未使用容量发现的 AWS Health 事件。消息报告称,在一周的大部分时间里,即使是端点中最繁忙的 GPU,也仅使用了不超过其容量的 12%。“建议的操作”窗格提供了前往 SageMaker AI 运行推理建议的链接。
图 3:针对未使用容量发现的 AWS Health 事件,其中包含在 SageMaker AI 中运行推理建议的链接
您可以选择 在 SageMaker AI 中打开 ,如上方屏幕截图中的建议操作所示,以应用或忽略建议。下一节将介绍具体操作。
应用或忽略建议
整个过程中,控制权始终在您手中,系统不会自动部署任何内容。当您从通知的建议操作中选择 打开 以进入 SageMaker AI 时, Amazon SageMaker Studio 会打开一个 JupyterLab 空间,并显示将在智能体聊天中运行的提示。以下屏幕截图显示了针对某个端点延迟漂移发现的提示,该端点还运行着较旧版本的 vLLM 服务容器:

当您选择 运行时,智能体体验会在 SageMaker Studio 的 JupyterLab 空间内以聊天面板的形式打开。它会用通俗易懂的语言概述该发现,重述您要求它执行的操作,并在采取任何操作前向您确认。以下屏幕截图显示了智能体概述发现并询问是否继续:

确认后,智能体会生成一个笔记本,用于为该端点创建推理建议作业。该笔记本使用 SageMaker Python SDK,从端点获取模型,并从端点指标中获取流量配置文件,同时使用 AWS Health 事件标记该作业,以便您将结果追溯至该发现。每个步骤都是一个独立的笔记本单元,因此您可以在运行前进行检查或编辑。
以下屏幕截图显示了用于记录作业详细信息,并针对三种候选实例类型启动建议作业的笔记本单元。

作业完成后,您可以从响应时间、吞吐量和成本方面将当前配置与备选方案进行比较。当您准备根据基准测试结果采取行动时,我们建议采用以下安全发布模式:
- 应用前检查建议的更改,包括配置差异,以及经基准测试得出的延迟、吞吐量和成本。
- 先将其应用于一个生产变体,并保留当前配置以便回滚。
- 保留或忽略某项发现都是正常的处理结果。该通知会保留在您的 AWS Health 事件历史记录中。
管理监测和通知
您可以管理监测以及接收通知的方式:
- 在 AWS User Notifications 控制台中管理通知接收方式。
- 您也可以选择安排定期生成建议,例如每月一次。
会收集和不会收集的内容: 监测功能会读取端点级别的汇总延迟和容量遥测数据。它不会读取您的请求或响应内容,也不会产生任何 GPU 成本。
选择退出监测: 如果您不希望 SageMaker AI 监测某个端点,请在模型容器上设置该 OPT_OUT_TRACKING 环境变量,其值可任意指定。调用 Environment 时,您可以在 CreateModel映射中设置该变量,既可以在 PrimaryContainer 上设置,也可以在模型的其他容器上设置。
如果端点上的任一容器带有此变量,SageMaker AI 将不会收集该端点的任何监测遥测数据,包括引擎指标、GPU 指标和启动配置详细信息。因此,它也不会发送有关该端点的任何通知。
清理
为避免持续产生费用,请清理您在按照本文操作时创建的资源:
- 删除您为本演练创建的所有测试端点或资源。
- 删除 Amazon Simple Storage Service(Amazon S3)中的基准测试产物(如适用)。
- 还原您所做的所有测试配置更改。
总结
现在,SageMaker AI 推理建议可自动持续监测您的端点,优化工作由一次性的时间点快照转变为持续提供的信号。
您的端点会持续告知您何时发生了漂移、何时错失了改进机会,或何时正在为空闲容量付费。只需选择一次,即可进入基于基准测试的并排对比决策流程,并由您掌控最终决定。
有关如何开始使用的更多信息,请访问 Amazon SageMaker AI ,并参阅 Amazon SageMaker AI 文档.
AI 热点