先了解这件事
2026年10月20日,IBM等开源llm-d项目贡献者发布分布式人工智能推理框架1.0版本。据Unite.AI报道,该版本在PyTorch Conference North America上发布,是Kubernetes原生的分布式推理服务栈,由Red Hat、IBM和Google主导维护,CNCF以沙箱项目托管;1.0新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把prefill和decode副本作为整体管理的DisaggregatedSet控制器。项目公布的测试显示,在544张NVIDIA H100上部署GLM-5.2可服务最多3000个并发编码智能体且零抢占,每token成本比同等商业API低5到10倍。次日MarkTechPost报道称,Google团队在同一会议上发布该首个稳定版本,把vLLM或SGLang模型服务器整合为统一调度池,支持NVIDIA、AMD、Intel GPU与Google TPU,并新增会话感知路由和异步推理等能力;Google自报基准显示Ironwood TPU编码负载下中位TTFT降低超过85%、
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Unite.AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月21日
MarkTechPost
Google Cloud 发布 llm-d 1.0，为 TPU 和 GPU 集群加入缓存感知路由
Google 团队在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0，这是该项目首个稳定版本，把 vLLM 或 SGLang 模型服务器整合为统一调度池，运行在 Kubernetes 上并支持 NVIDIA、AMD、Intel GPU 与 Google TPU。1.0 新增多租户优先级与公平流控、路由高可用与零停机升级、会话感知路由和异步推理等能力。Google 自报的基准显示，Ironwood TPU 编码负载下中位 TTFT 降低超过 85%、吞吐提升 2.4 倍，17,000 节点 GKE 部署吞吐扩展 2.9 倍。
10月20日
Unite.AI
llm-d 1.0 在 PyTorch Conference 发布，面向生产环境的推理栈
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
SiliconANGLE
IBM 等维护方发布 llm-d 1.0，为自建模型推理增加运维控制
IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。
本事件热度走势
- 当前
- 9
- 区间峰值
- 14 10月21日 09:00
- 近 24 小时变化
- —
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。