AWS 推出多节点 Ray LLM 深度学习容器
2026年10月12日,AWS 发布面向多节点部署的 Ray LLM Deep Learning Container(DLC)。据 AWS Machine Learning 介绍,该容器可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,并将 prefill 与 decode 阶段分离在各自节点上,统一暴露一个 OpenAI 兼容端点。容器内置 vLLM、Ray Serve LLM、NIXL 与 EFA 通信栈,通过 build_pd_openai_app 用一段 YAML 完成服务配置,无需编写应用代码。目前该事实仅有这一条第一方证据,暂无后续发展。
匹配字段标题