AI News

Kubernetes 准备好运行 AI 智能体了吗?

The New Stack更新于 11月16日 19:49

Is Kubernetes ready for AI agents?

AI 导读

CNCF 调查显示,三分之二运行 AI 推理负载的组织选择 Kubernetes,但 AI 智能体的概率性行为、秒级生命周期和启动延迟仍超出其现有能力。文章指出安全隔离是首要缺口,社区正推动沙箱化架构,并探索用 warm pool 让智能体在毫秒级恢复,而非等待数秒冷启动。开源 Kubernetes 尚未完全具备这些能力,企业可借助已内置沙箱的商业发行版落地生产。

正文 · AI 翻译

Kubernetes 的构建基于一个相当简单的假设。

那就是软件会按照开发者告诉它的方式行事。AI 智能体让这一假设变得复杂。智能体可以针对问题展开推理、选择行动方案、调用工具、编写代码、与其他系统交互,并持续朝着目标推进。这正是智能体之所以有用的原因。但这也正是让它们在生产环境中运行与运行传统应用截然不同的原因。

而且,越来越多的企业希望能在 Kubernetes 上运行它们。云原生计算基金会(CNCF)最近的一项调查发现,三分之二运行 AI 推理负载的组织选择在 Kubernetes 上运行这些负载。这很合理,因为过去十年来,Kubernetes 已成为企业部署和运维分布式应用的标准方式。它已经懂得如何调度工作负载、分配资源、从故障中恢复,以及按需扩缩应用。

推理需求可能以突发形式到来,要求客户快速扩展底层硬件和软件资源以应对激增的需求。在这方面,Kubernetes 非常契合。同样,随着 AI 负载逐步回落,Kubernetes 可以优雅地缩减底层基础设施,确保经济运行。

尽管 AI 推理与 Kubernetes 之间的契合度很高,但这一组合仍存在缺口,首先是安全方面。前沿 AI 实验室近期发生的事件中,AI 智能体逃出测试环境并在互联网上发起恶意网络攻击,这凸显了需要强有力的护栏来防止 AI 负载行为失当。

不幸的是,AI 的概率性本质会导致出现无法准确预测某个 AI 负载将寻求使用哪些资源的情况,这增加了智能体最终越界的可能性。因此,理想的 AI 平台应当让实施清晰的护栏变得容易,并将智能体负载安全地限制在定义明确的沙箱之内。

“理想的 AI 平台应当让实施清晰的护栏变得容易,并将智能体负载安全地限制在定义明确的沙箱之内。”

通过将智能体 AI 负载限制在逻辑上与其他 Kubernetes 负载相隔离的沙箱中,企业可以更好地确保:即使某个 AI 负载确实失控,随之而来的损害也会被限制在该沙箱之内。

智能体平台不应让智能体随意访问它们想要的任何资源,而应使用明确的权限框架,对文件、工具以及网络和系统资源的访问予以授予或拒绝。除非获得明确许可,否则应完全限制智能体执行代码。

好消息是,Kubernetes 社区正朝着将沙箱化作为约束 AI 智能体的架构要素这一方向迈进。CNCF 正在努力解决 Kubernetes 在安全与隔离方面的缺口。然而,这个开源项目的功能尚未完全到位。

恰当的 AI 沙箱化需要超越容器层面,深入到虚拟机或宿主操作系统,以确保智能体负载无法影响同一环境中运行的其他应用。希望当下就将 AI 部署到生产环境的企业,可以借助已经内置这些沙箱能力的商业 Kubernetes 发行版。

对 AI 负载的监控是另一个让 CIO 们夜不能寐的担忧。前沿 AI 实验室或许未能充分监控其 AI 模型在做什么,甚至未能监控它们是否具备互联网访问能力,但企业通常没有在智能体行为失当时请求宽恕的奢侈。

安全或许是最显而易见的挑战,但并非唯一挑战。智能体也在改变算力的消费方式。一个普通服务可能连续运行数月,而一个智能体可能只存在几秒钟。

“一个普通服务可能连续运行数月,而一个智能体可能只存在几秒钟。”

用户提出一个问题 -> 一个智能体启动 -> 它执行一些工作,可能创建其他智能体、调用若干工具,然后消失。

现在把这种模式乘以数千名用户,基础设施就开始看起来与传统的 Kubernetes 环境大不相同。

除此之外,从零开始启动一个 Kubernetes 负载可能需要数秒。对许多应用而言,这完全可以接受。但对于交互式智能体,这几秒钟可能会让人感觉慢得难受。这就产生了一个有趣的基础设施问题:如何在不每次创建都付出启动成本的情况下,获得全新环境的隔离性?

因此,智能体负载的偶发性,以及智能体快速启动的需求,正在考验甚至 Kubernetes 的灵活性。正如第一代 Kubernetes 不支持有状态应用一样,社区仍在寻找运行新一代智能体负载的最佳抽象层。

“智能体在预热池中保持悬停状态,使它们能在毫秒级内复苏,而不是像从深度睡眠中完全唤醒那样需要数秒。”

社区中一个正在获得关注的答案是“智能体基座”(agent substrate),用于快速扩展基于 Kubernetes 的智能体工作负载。借助智能体基座,包含 AI 智能体的 Kubernetes Pod 在不需要时不会被完全关闭,因为从休眠状态启动它们会给用户带来过高的延迟。相反,智能体在预热池中保持悬停状态,使它们能在毫秒级内复苏,而不是像从深度睡眠中完全唤醒那样需要数秒。

在现实世界中大规模部署 AI 工作负载时,细节至关重要。并非每个 Kubernetes 发行版都提供企业所需的全部能力。随着开源 Kubernetes 社区适应不断变化的需求,有远见的平台提供商正在构建防护机制、沙箱化、监控和智能体基座,让企业现在就能部署 AI。

这篇文章《Kubernetes 准备好运行 AI 智能体了吗?》最初发表于 The New Stack。

来源

The New Stack