先了解这件事
AI 综述
2026年9月22日,AWS Machine Learning 发布文章,讲解如何在 Amazon SageMaker AI 上用并发扫描为生成式 AI 端点合理配置规模。文章介绍,SageMaker AI 的 Inference Recommendations 内置并发扫描功能,可自动向端点发送递增的并发流量并测量吞吐与延迟,找出端点饱和点,无需自建压测基础设施。文中以 NVIDIA Nemotron-3 Nano 30B(MoE、3B 激活参数)部署在 ml.g7e.2xlarge 为例,按 64、256、1024 三档并发各发 1024 个请求,结果显示 256 并发时吞吐趋平、p99 延迟陡升,即为饱和拐点。目前该内容为 AWS 官方发布,尚无其他后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月22日
AWS Machine Learning一手
如何在 Amazon SageMaker AI 上用并发扫描为生成式 AI 端点做容量规划
Amazon SageMaker AI 的 Inference Recommendations 内置并发扫描功能，可自动向端点发送递增的并发流量并测量吞吐与延迟，找出端点饱和点，无需自建压测基础设施。文章以 NVIDIA Nemotron-3 Nano 30B（MoE、3B 激活参数）部署在 ml.g7e.2xlarge 为例，按 64、256、1024 三档并发各发 1024 个请求，结果显示 256 并发时吞吐趋平、p99 延迟陡升，即为饱和拐点。