AWS 推出多节点 Ray LLM 深度学习容器

先了解这件事

AI 综述

2026年10月12日,AWS 发布面向多节点部署的 Ray LLM Deep Learning Container(DLC)。据 AWS Machine Learning 介绍,该容器可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,并将 prefill 与 decode 阶段分离在各自节点上,统一暴露一个 OpenAI 兼容端点。容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈,通过 build_pd_openai_app 用一段 YAML 完成服务配置,无需编写应用代码。目前该事实仅有这一条第一方证据,暂无后续发展。

AI 根据公开报道生成

最新进展 · 正式报道10月12日 23:50

使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载

事件进展

1 个已确认进展

10月12日 · 1 篇报道
AWS 推出多节点 Ray LLM 深度学习容器
来源：AWS Machine Learning

报道与讨论时间线

按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。

10月12日

23:50
AWS Machine Learning一手
使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理工作负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，并将 prefill 与 decode 阶段分离在各自节点上，统一暴露一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈，通过 build_pd_openai_app 用一段 YAML 完成服务配置，无需编写应用代码。