贵公司希望将编码智能体从开发者笔记本电脑迁移到共享的 GKE 集群,以实现持久性、可扩展性和治理。每个智能体会话全天保持开启,但只在其中一部分时间工作,而如何运行它们决定了你的节点账单中有多少是为等待付费的。
读完本文后,你将了解为什么智能体会话需要与 Web 请求不同的运行时、Agent Substrate 和 AX 如何在 GKE 上运行会话,以及如何识别 GKE 节点池中的 成本优化机会 。本文假设你了解 Kubernetes Pod 和节点池。如果不了解,请查看 GKE 概览.
智能体会话在提示之间等待
Web 请求只持续毫秒。服务器应答后不保留任何内容,然后服务下一个请求,因此 Kubernetes 根据流量来扩展 Web 应用:请求越多,Pod 越多。
智能体会话的工作方式不同。编码智能体的工作区可以在开发者的整个工作日保持开启:它在提示之间保留内存和文件,并且只在提示到达后才开始工作。
图 1. 请求在毫秒内结束且不保留任何内容。智能体会话全天保持开启,并以短回合方式工作(按每小时 2 次提示的比例绘制)。
智能体在这一天中真正工作的时间有多少?远少于它等待的时间。在一项对 GitHub Copilot 智能体轨迹的研究中, Banruo Liu 及其同事 发现,在包含多个提示的典型会话中,智能体约有 80% 的时间在等待用户。一个回合(一次提示及智能体对其的完整响应)平均需要 396.3 秒的智能体工作时间。
把这些数字放到一个开发者的一天中。假设每小时 2 次提示、每天工作 8 小时,智能体工作的时间占一天的 22%,其余 78% 的时间在等待。如果每个会话占用一台机器,你就要为那 78% 付费。
每会话一个 Pod,还是缩容到零
团队通常选择两种方案之一,两者对 Web 应用都很有效。
第一种是为每个会话分配自己的 Pod。会话保留其状态,但其 Pod 全天占用 1 vCPU 和 1 GiB。例如,一台 c3-standard-4 node 在扣除 GKE 的预留后可以容纳 3 个这样的 Pod,因此在我们的成本模型中,100 个编码智能体需要 34 个节点,每月约 1,288 美元,而这些智能体只有 22% 的时间在工作。
第二种是在提示之间将 Pod 缩容到零。节点被释放,持久卷上的文件得以保留,但进程及其内存不会保留,因此下一次提示会启动一个新的智能体进程。
基于此,你需要第三种选择:保留会话,并在会话等待时释放机器。
将空闲智能体会话停放到对象存储
Agent Substrate 和 AX 正是为此而构建:开发者的会话保持开启,而为其服务的沙箱在会话等待时归还其机器。二者共同覆盖了智能体平台中对每个团队都相同的部分:控制平面、运行时和沙箱。Agent Substrate 回答智能体在哪里以及如何运行。AX 回答智能体是什么。
在 2026 年 11 月 gVisor、Agent Substrate 和 OpenRL 捐赠给 CNCF 之后,你可以灵活地在任何环境中运行这个开源智能体平台。Agent Substrate 1.0 已 在 GKE 上正式可用.
图 2. 智能体平台的构建模块。AX 覆盖控制平面,Agent Substrate 覆盖运行时和沙箱。
从这里开始,有一个区分会有所帮助。会话是开发者与智能体之间的多轮交互,包含其对话历史。为其服务的计算是一个隔离的沙箱:Agent Substrate 中的 actor,或 AX 中的 Task。停放作用于沙箱,而会话保持开启。
Agent Substrate 回答智能体在哪里以及如何运行。它将有状态的智能体与其运行所在的算力分离。actor 是一个智能体的沙箱,它持有智能体正在运行的进程、文件和身份。worker 是从 Kubernetes Pod 热池中取出的可复用沙箱,一个 worker 承载多个 actor。
智能体运行的是模型编写的代码,因此其环境中的任何内容都可能通过提示注入或错误命令泄露,包括 API 密钥。网关根据 actor 的身份控制 actor 的入站和出站流量,并在出站时添加凭据,因此智能体从不持有密钥。
SuspendActor 将空闲 actor 快照到对象存储并释放其 worker,下一次请求会在任意热 worker 上恢复该 actor。使用这种方法,我们可以通过在同一份算力上多路复用更多智能体来实现更高的密度。
AX 回答智能体是什么以及它知道什么。你声明一个 Task,它说明运行什么(镜像、命令和限制),以及一个 Workspace,它说明智能体知道什么(仓库和文件)。AX 将每个 Task 作为 actor 运行。ax suspend 会停放任务并保留其 /workspace。目前 AX 会请求卷快照,因此文件在恢复时会回来,而智能体的进程会重新开始(运行器指南).
AX 将 suspend、resume 和 delete 传递给 Agent Substrate。 AX 路线图 增加了预算、策略和网关,用于限制智能体可以做什么,并记录每个任务做了什么。
图 3. Agent Substrate 回答智能体在哪里以及如何运行,AX 回答智能体是什么。
在规划节点池规模之前
在你规划任何规模之前,有两个细节决定了账单。
第一,你决定沙箱何时停放。Agent Substrate 不会自行挂起空闲 actor(#424),因此你的智能体运行框架,或位于其前面的服务,会在空闲超时后调用挂起 API。在此之前,空闲 actor 会一直保留其 worker。当空闲 actor 占用了所有 worker 时,对另一个 actor 的请求默认最多等待 5 秒,然后以 HTTP 503 失败(Agent Substrate 文档).
其次,你决定每个沙箱被承诺多少 CPU。actor 的规模由其 CPU 和内存限制决定,每个 worker 会针对你为其池声明的容量预留这些限制(API 指南)。我们的成本模型将该容量设为节点实际拥有的容量,因此每个 actor 都能保留其完整限制。你可以声明超过节点实际拥有的容量,这样就会在池层面而不是在每个 Pod 中超额分配 CPU。
停放在 GKE 上节省了多少
我们的成本模型按 us-central1 的 Google Cloud 目录价,为同样的 100 个编码智能体计算停放的成本。
在 2 分钟空闲超时下,每个会话在其开放时间的 29% 内占用一个 worker。为突发流量配置的热池(如果会话独立行动,同时占用 worker 的会话数的第 99 百分位,再加 15% 余量)需要 15 个节点。再加一个全天候运行 Agent Substrate 控制平面及其 PostgreSQL 数据库的节点,以及一个在下班后将池缩容到零的作业:
停放可节省 40% 的节点费用。池大约每 3,500 轮才会满一次,因此提示很少会遇到那个 503。在每小时 2.5 次提示而非 2 次的情况下,同样的 15 个节点在 3% 的轮次中处于满负荷,所以请按你最繁忙的小时来规划池的大小。
请记住,当你的智能体等待时间最长时,停放带来的收益最大。每小时 2 次提示时,节省为 40%。每小时 4 次提示时,智能体在一小时中有 44% 的时间在工作,池增长到 27 个节点,节省为 4%。大约每小时 4.5 次提示时,每会话一个 Pod 就成为更便宜的选择,所以请先测量你的提示频率。
此外,池的大小由你设定。GKE 安装指南中的自动扩缩选项跟随的是 worker Pod,而不是挂起的 actor,因此请用定时作业在下班后将池缩容到零:一个整月运行全部 730 小时的池,成本约为每会话一个 Pod 账单的两倍。
最后,集群规模也很重要。Agent Substrate 控制平面在 10 个会话或 1,000 个会话时成本相同,因此停放从大约 37 个编码会话开始划算,对于一个假设每小时工作约一分钟的聊天助手,则是 13 个会话。
图 4。左图:100 个编码智能体的每月节点账单与每小时提示数的关系。右图:随着集群规模增长,每会话成本的变化。两者均来自成本模型。
当每会话一个 Pod 成本更低时
超额分配会改变比较结果。如果你的 Pod 请求的 CPU 少于其限制,Kubernetes 会按请求量来放置它们。一个请求 0.25 vCPU、限制为 1 vCPU 的 Pod 每节点可打包 12 个,因此同样的 100 个编码智能体可容纳在 9 个节点上,比我们停放池所用的节点还少。Agent Substrate 也可以通过你在 worker 池上声明的容量进行超额分配,而我们的成本模型没有对该情况计价。
图 5。来自成本模型的 100 个编码智能体按 Pod CPU 请求计算的每月节点账单。两组中停放的会话都保留其完整的 CPU 限制。
超额分配在两边代价相同:智能体共享 CPU,当邻居繁忙时,在构建和测试期间它们会变慢。在决定停放之前,请进行同类比较:具有相同 CPU 保证的 Pod 和 actor。
立即开始
回到共享集群。智能体是会话,不是请求:请根据持有 worker 的会话来设定热池大小,而不是根据已打开的会话。
我们会停放那些在大部分时间里都在等待的长生命周期会话,而当开发者每小时提示超过约 4 次时,则为每个会话保留一个 Pod。请根据最繁忙时段的工作时间加上较短的闲置超时来设定热池大小,并在停放之前与当前具有相同 CPU 保证的 Pod 进行比较。
- 从网关日志中取一周内每小时的提示数,并将你最繁忙的时段与停放不再划算的每小时 4.5 次提示进行比较。
- 在 GKE 集群上安装 Agent Substrate 1.0,并参阅 GKE 上的 Agent Substrate 指南.
- 阅读 Agent Substrate 文档.
- 请遵循 AX 仓库. AX 正处于首次稳定版发布前的积极开发阶段,团队欢迎你通过 GitHub 提供反馈和问题 。感谢阅读!如果你目前要在 Kubernetes 上运行智能体会话,你的用户每小时会发送多少条提示?提示频率是我们最不确定的输入。你可以通过.
LinkedIn 或 联系我。 ,并附上你的数据、问题和更正。 ,并附上你的数据、问题和更正。
发布于: 上一篇 下一篇 相关文章
移动端
网页
教程
操作指南
使用 A2UI 与 CopilotKit 智能体构建生成式 UI 应用
2026年10月29日
AI
云
操作指南
最佳实践
用 Gemini 和约束求解器捕获模糊测试遗漏的 Go 缺陷
2026年11月12日
AI
云
教程
案例研究
在 TPU 上解锁稳定的同策略强化学习,实现训练与推理之间按位零失配
2026年11月16日
AI
云
案例研究
影响力
智能体异常检测在我们未编写的基准测试中得分如何
2026年11月12日