←新闻详情

SiliconANGLE更新于 10月25日 20:41

Google Cloud 推出 Agent Compute Engine 托管 AI 智能体

Google Cloud introduces Agent Compute Engine to host AI agents - SiliconANGLE

AI 导读

Google Cloud 推出 Agent Compute Engine,一项专门托管 AI 智能体的基础设施服务,其沙箱以 microVM 实现,结合容器的硬件效率与传统虚拟化的隔离能力。该服务用无状态设备、不可变文件系统、Titan 芯片校验固件和多重代理网络限制攻击面,并在沙箱闲置时自动关闭、需要时快速恢复,使单个物理节点可承载远多于常规 VM 的智能体 microVM。智能体登录凭证存放在沙箱之外,由 Agent Gateway 代为取用;该服务将在未来数月内随新版 Agent Gateway 一同推出,后者新增模型路由和 token 消耗管控能力。

推荐理由

AI 评分 67

原文拆解了 microVM 的隔离、闲置回收和凭证外置设计,可据此判断托管智能体的安全与成本边界。

主题

标签

正文 · AI 翻译

Google LLC 的云部门今天推出了 Agent Compute Engine,这是一项针对托管人工智能智能体而优化的基础设施服务。

AI 智能体运行在称为沙箱的技术环境中。沙箱承载智能体开展工作所需的应用程序、数据和用户指令。沙箱还包含阻止恶意活动的网络安全防护机制。

Google 将 Agent Compute Engine 对沙箱的实现称为 microVM。该公司表示,这项技术结合了容器的硬件效率与传统虚拟化的安全性。特别是,Google 引入了虚拟机监控程序将虚拟机彼此隔离的能力,以防止恶意软件传播。

该公司在专门配置的设备上运行 microVM。这些设备是无状态的,这意味着它们不会永久保留客户智能体所使用的文件。系统确实存储的数据保存在不可修改或删除的不可变文件系统中。

Google 使用其定制的 Titan 网络安全芯片验证设备固件的完整性。反过来,设备的中央处理器具备针对侧信道攻击的缓解措施。侧信道攻击是一种网络攻击,通过分析 CPU 物理状态的数据来获取其处理的客户信息。

在 Agent Compute Engine 设备上运行的 microVM 对其存储资源的访问权限有限。因此,即使黑客接管了其中一个沙箱,也无法读取或删除数据。另一组防护机制保护着将该设备连接到主机数据中心其余部分的网络。来自 microVM 的流量必须经过多个代理才能到达目的地。

Google Cloud 杰出工程师 Ramanathan Venkatapathy 和 Rohit Jnagal 在博客文章中解释道:“所有入站和出站流量都必须经过一个隔离的点对点 IPC 边界。”“该边界终止于本地的一个非特权中介代理,该代理将数据包转发到外部代理。随后,外部网关验证请求范围,并执行严格的、由策略驱动的出站代理。”

AI 应用通常会暂停其用于为用户自动化任务的智能体。当智能体关闭时,托管它的沙箱必须保持可用,因为该智能体之后可能会被重新激活。此类闲置沙箱会消耗大量硬件资源,从而增加成本。

Google 表示,Agent Compute Engine 会检测沙箱何时进入闲置状态并将其关闭。这可以避免不必要的硬件使用。当需要该沙箱时,服务会迅速将其重新激活。

Venkatapathy 和 Jnagal 写道:“这使得单个物理节点能够承载比传统 VM 多出几个数量级的活跃智能体 microVM。”“我们将其与克隆、快照/分叉、回退和回滚等智能体不可或缺的功能相结合,使运行框架能够高效使用系统而无需重复资源。”

一些智能体使用登录凭证来访问其执行工作所用的应用程序。据 Google 称,Agent Compute Engine 将这些凭证存储在托管智能体的沙箱之外。这意味着即使黑客接管了沙箱,也无法窃取任何敏感数据。当智能体需要登录某个应用程序时,Google Cloud 的一项名为 Agent Gateway 的服务会检索相关凭证并代表该智能体提交它们。

Google 将在未来几个月内随新版 Agent Gateway 一同推出 Agent Compute Engine。后者这项帮助客户阻止不安全智能体流量的服务将获得模型路由能力。该功能将使其能够将每个智能体请求发送到能以最高效方式处理它的模型。Agent Gateway 还将新增一个用于调节智能体推理成本的工具。

Google Cloud 副总裁 Nirav Mehta、Michael Bachman 和 Kevin Hutchins 在博客文章中写道:“Token 管理提供对跨智能体和模型的 token 消耗的控制,使您能够归因支出、执行预算防护机制,并为 token 指标提供单一可信来源。”

图片:Google

来源

SiliconANGLE