AI News

AI 任务在排队,GPU 却在闲置:Kubernetes 的新解法

The New Stack更新于 11月16日 19:20

AI jobs are waiting while GPUs sit idle. Kubernetes has a new plan.

AI 导读

Kubernetes 生态正围绕智能体 AI 推理补齐调度与自动扩缩容的协同:AWS 指出调度器与 autoscaler 在 GPU 管理上不同步会导致 Pod 挂起、昂贵 GPU 闲置,并提出 DRA 感知的 autoscaler、工作负载感知调度和 provisioning requests 等方案。CNCF 沙箱项目 llm-d 发布 v1.0,IBM Research 演示显示智能体工作负载在开源模型上推理成本降低 11.5x,缓存复用率约 98%。HPE 则用开源工具 k8s-pod-restart-info-collector 自动收集 Pod 重启诊断信息并推送到 Slack。

正文 · AI 翻译

欢迎阅读又一期 Road to KubeCon!随着我们迎来 2026 年 11 月 9 日至 12 日在盐湖城举办的 KubeCon + CloudNativeCon 北美站,我们正在追踪 Kubernetes 和云原生生态中的动向。

本周专栏的一半内容聚焦于在引入智能体 AI 需求的同时厘清 Kubernetes:自动化 Pod 重启故障排查、同步调度器与自动扩缩容之间的通信,以及让推理在云原生技术栈中的分发方式走向成熟。

另一半内容则深入探讨我们在 Kubernetes 环境中需要密切关注的问题:缺少了哪些上下文、哪些信息从指标的空隙中溜走,以及你已经在使用的 AI 智能体作为 SRE 是否真的名副其实。

让我们开始吧。HPE 谈在 AI 开发中自动化 Pod 重启

随着越来越多企业转向 Kubernetes 来运行大规模 AI 和机器学习任务,它们遇到了一个共同的障碍:Pod 重启。这是 HPE 在客户使用其 HPE Private Cloud AI(PCAI)在 Kubernetes 这类本质上短暂的容器化基础设施上托管长时间运行的 AI/ML 工作负载时注意到的问题。

慧与(HPE)是 Road to KubeCon 的展示赞助商。HPE Software 帮助 IT 组织在混合、多供应商环境中实现基础设施现代化、简化运营并加速 AI 计划。

据 HPE 系统软件工程师 Guoping Jia 介绍,Kubernetes 开箱即提供了一些故障排查命令,但仍需要大量人工调查。“这种运维工作流在 PCAI 的大型集群环境中无法有效扩展,”Jia 在 HPE 博客上写道。

他的解决方案是更智能的故障排查自动化:使用开源 Kubernetes 故障排查工具 k8s-pod-restart-info-collector 自动收集详细信息,并将诊断信息直接发送到 Slack 频道。这是提升 Kubernetes 运维人员易用性的一项有益策略。

调度器和自动扩缩容会联合起来吗?

最近有很多关于 Kubernetes 如何演进以满足 AI 新需求的讨论。本周,AWS 高级软件开发经理 Sajjan Gundapuneedi 和 Neelendra Bhandari 在这篇博文中发表了看法,探讨 AI 如何重塑 Kubernetes 自动扩缩容。

他们强调的核心问题是:在 Kubernetes 上管理 GPU 加速器时,负责将 Pod 放置到现有节点上的调度器与负责添加新节点的自动扩缩容之间存在摩擦。双方往往步调不一致,导致 Pod 处于挂起状态,昂贵的 GPU 却闲置。容量预留、设备拓扑和 GPU 共享进一步增加了复杂性。

“稀缺的加速器有多大用处,取决于负责调度它的循环与负责供给它的循环之间的一致程度。”

“稀缺的加速器有多大用处,取决于负责调度它的循环与负责供给它的循环之间的一致程度,”作者写道。“推理让这一问题变得紧迫而非纸上谈兵,因为突发式服务和智能体工作负载没有耐心等待冷节点。”

在他们看来,解决方案已初具雏形:感知动态资源分配(DRA)的自动扩缩容、感知工作负载的调度,以及一个配套机制——供给请求(provisioning requests),用来弥合双方之间的鸿沟。不过,他们仍预计自动扩缩容将成长为“一个更具调度器意识的伙伴”。

更深入的集成也在进行中。SIG-Autoscaling 小组的一项公开提案勾勒了相关 API,使这两个循环能够直接对话,从而让调度器可以看到可被供给的容量、表达跨这些容量的放置偏好,并显式请求这些容量。

分布式 AI 推理随 llm-d v1.0 发布走向成熟

周二,在 PyTorch 北美大会上,CNCF 沙箱项目 llm-d 达到 v1.0。该项目如今在 PyTorch 生态中的 AI 应用开发者与生产级云原生技术栈之间架起了桥梁。

llm-d 联合创始人兼首席维护者、IBM 混合云 AI 平台杰出工程师 Carlos Costa 表示,v1.0 的发布标志着成熟。

“这是开源 AI 服务从实验性项目跨入可信赖、可据以构建的基础设施的时刻,”Costa 对 The New Stack 表示。他补充说,早期版本侧重于证明最先进的性能,而 v1.0 则关乎在生产环境中维持这种性能。

llm-d 已在特斯拉、AWS、Oracle、Google 等众多场景中得到大量使用。Costa 补充说,IBM Research 最近的一项演示发现,一个探索量子纠错硬件的智能体工厂在使用 llm-d 的开源模型上运行时,推理成本比全专有配置低 11.5 倍。

“这一演示展示了 llm-d 真正大放异彩之处:智能体工作负载,”他说,并补充说它能吸收突发式智能体流量,在 IBM 的测试中,缓存复用率提升至约 98%。

从构建模型到大规模运营前沿智能

为了让大家对KubeCon NA上可能出现的讨论类型有个直观感受,我们不妨短暂东望。上个月在上海举行的KubeCon + CloudNativeCon + OpenInfra Summit + PyTorch Conference China 2026上,CNCF首席技术官Chris Aniszczyk在题为《以Xiao Zhang大规模运营前沿智能》的演讲中,为这一话题做了很好的铺垫。

正如他所说,如今已不再只是模型的问题,而是如何让所有模型都投入实际工作。“AI本质上正从单纯构建最强大的模型,转向我们如何真正让它在规模上运行、把一切拼接起来并在不同类型的环境中运行,”Aniszczyk说。

Cloudflare首席执行官Matthew Prince最近宣称,由AI智能体驱动的机器人流量已在网上首次超过人类流量。Aniszczyk表示,这一转变正给系统带来巨大压力,并指出GitHub近期发生的宕机事件。随着推理成为主导性工作负载,一切都随之改变。

“这大概是我职业生涯中见过的最疯狂的技术变革。”

他指出,这一转变正引发各种衍生问题,从建设新基础设施到建设更多数据中心,再到确保有足够的电力供应。“这大概是我职业生涯中见过的最疯狂的技术变革,”Aniszczyk说。

不过,他仍持乐观态度,将其视为云原生社区可以共同应对的有趣问题和挑战。

把你的AI智能体提拔为SRE

大量AI站点可靠性工程师(SRE)平台正在涌现。但据Radar(Skyhook.io)首席产品官Roy Libman称,你的下一位SRE人选可能就在你手边:你已经在使用的AI编码智能体。诀窍在于为它提供正确的上下文。

“你的工程师所使用的编码智能体,无论是Claude Code、Codex还是Cursor,都已经能够调查Kubernetes集群,”Libman在CNCF博客上写道。“它通常缺少的是上下文:当前什么在失败,以及在故障发生前发生了什么变化。”

在他对活跃集群注入50个故障的基准测试中,通过MCP工具获得只读上下文的Claude Code,诊断准确率略高于使用shell和kubectl访问权限的情况。更大的差异在于速度:有上下文时,它在86%的故障上能在两分钟内得出正确诊断,而使用shell时这一比例为60%。

这是一个有趣的信号,表明上下文对于诊断复杂错误至关重要,而且你可能不必为了排查问题而再掏钱(双关语)订阅另一个AI服务。行业观点:Kubernetes中哪些问题未被发现

此前一篇Road to KubeCon文章曾探讨OTel和Prometheus还缺少什么。那么,其中一个缺口就是非时间序列的状态,比如慢日志条目、客户端列表和访问控制列表(ACL)变更,Redis前工程经理、现Valkey贡献者、BetterDB创始首席技术官Kristiyan Ivanov分享道。“这些信息在两次抓取之间就丢失了,”他对The New Stack表示。

“指标能计数,但无法解释。”

指标能计数,但无法解释。据Ivanov称,Kubernetes中大量问题未被发现,是因为Valkey和Redis将证据保存在内存缓冲区中,而Prometheus只将其简化为长度和计数器。“Kubernetes在多个方面让情况更糟,”他说,并指出Pod重启、故障转移和临时Pod IP都会加剧追踪难度。

“生态系统里几乎所有东西都是 INFO 抓取器,”他说。“普遍缺失的是:跨重启和故障转移的持久历史记录、对服务或 ACL 用户的归属、ACL 和配置变更的审计轨迹,以及跨分片的聚合。”

新兴方法正在帮助云运营商看清这些缺口。他提到 Valkey 检测能力的改进,以及 OpenTelemetry eBPF Instrumentation 能够实现细粒度追踪。但他说,eBPF 看不到驱逐、ACL 拒绝或配置变更。这些需要引擎级采集。

随着 Kubernetes 不断演进,运行它的团队所面临的要求也在变化。本次活动的赞助商 HPE 通过涵盖虚拟化、云管理、可观测性和自动化的软件,帮助团队应对这种复杂性。

半数受访者无法有效衡量 AI 智能体

Splunk《2026 年可观测性状况》报告于 10 月 20 日发布,调查了 2,050 名 IT 运维和工程专业人士。报告发现,87% 的受访者表示监控 AI 是优先事项,但超过半数承认他们无法有效衡量 AI 质量(例如 LLM 响应质量),也无法控制 AI 成本。

报告还发现,83% 的受访者担心 AI 智能体的意外后果。这与智能体 AI 倾向于采取意外行动并产生突发流量模式的特点相符,而这两者都在推动重大的基础设施变革。

“大多数公司很快就会拥有远超员工数量的智能体在工作,”思科总裁兼首席产品官 Jeetu Patel 在新闻稿中表示。据 81% 的受访者称,监控 AI 也在推动可观测性团队与安全团队之间更多的协作。

更多来自云原生世界的更新

围绕云原生的热情从未停歇。以下是过去一周左右来自社区、项目和厂商的更多更新。

祝贺 Anish Bista,成为尼泊尔首位 Golden Kubestronaut!

Kubernetes v1.38.0 计划于 12 月 16 日(周三)发布。

根据发布计划,Kubernetes 1.34 将于 10 月 27 日停止支持。

Fairwinds 分享了在 Amazon EKS 上生产环境运行 n8n 的经验教训。

Broadcom 的 AAI v26 新增成本追踪和 Kubernetes 支持;参见 EMA 的影响简报。

Splunk 现在允许团队在 Kubernetes 上远程配置 OpenTelemetry Collector。

New Relic 发布了其 Kubernetes 集成的 v4.8.2 版本,包含依赖更新。

Road to KubeCon 的最后一站

本系列即将结束——只剩最后一期。

我们下周将在这里为 Road to KubeCon 做特别收尾。与此同时,你可以在 Road to KubeCon 存档中回顾往期内容。

本系列作者 Bill Doerrfeld 欢迎社区投稿。欢迎分享有趣的观点、新版本发布,或关于盐湖城最佳潜水酒吧的推荐。

他接受 LinkedIn 私信,你也可以通过他的个人联系页面联系他。

文章《AI 任务在排队,GPU 却在闲置。Kubernetes 有了新方案。》首发于 The New Stack。

来源

The New Stack