llm-d 1.0 在 PyTorch Conference 发布,面向生产环境的推理栈
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本,这是一个 Kubernetes 原生的分布式推理服务栈,由 Red Hat、IBM 和 Google 主导维护,CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障,包括按优先级和公平性调度的流控与可控降载,并支持路由器热备、安全滚动更新,以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示,在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占,按当前云租赁价格计算,每 token 成本比同等商业 API 低 5 到 10 倍。
ts with competing priorities sharing the same infrastructure, and upgrades that do not interrupt operations. What Version 1.0 Adds The project’s v1.0.0 release notes, published on GitHub on October 20, 2026, with signed and verified tags, lead with multi-tenant quality of service: priority- and fairness-aware flow control with controlled load shedding, including a probabilistic admitter, program-aware fairness, and turn-priority scoring, so latency-sensitive requests and bursty agent workloads c
匹配字段正文




