先了解这件事
AI 综述
Amazon SageMaker HyperPod推出Global Inference Gateway,可通过单个托管端点,在同一区域或跨区域的多个集群之间路由推理请求。该网关会依据KV cache余量、队列深度、区域距离和错误率选择集群,并支持自动故障转移、SigV4与IAM身份验证,以及通过AWS PrivateLink建立私有连接。目前该功能已在13个AWS区域提供,尚无其他有证据支持的发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月21日
AWS Machine Learning一手
Amazon SageMaker HyperPod 推出跨区域 Global Inference Gateway
Amazon SageMaker HyperPod 推出 Global Inference Gateway,以单个托管端点在同一区域或跨区域的多个集群间路由推理请求。网关依据 KV cache 余量、队列深度、区域距离和错误率选择集群,并支持自动故障转移、SigV4 与 IAM 身份验证及 AWS PrivateLink 私有连接。该功能已在 13 个 AWS 区域提供。
AI 热点