←新闻详情

Analytics India Magazine更新于 10月30日 14:17

Akamai 推出 AI 推理与 Agent Sandbox 服务

Akamai Launches AI Inference and Agent Sandbox Services

AI 导读

Akamai 发布 Akamai Inference 和 Akamai Agent Sandbox 两项服务:前者通过 OpenAI 兼容 API 提供 12 个开放权重模型,参数量从 8B 到 2.8T,包括 NVIDIA Nemotron 3 Ultra、OpenAI gpt-oss-120b 和 Google Gemma 4;后者基于 WebAssembly 隔离运行 AI 智能体生成的代码,并以 Spin 框架开源组件形式发布。Akamai 同时扩充 NVIDIA Blackwell Ultra GPU 集群,每个八卡节点配备 2.3 TB HBM3e 内存。

正文 · AI 翻译

云服务公司Akamai推出了两项用于部署AI模型和运行AI智能体的服务,这家云基础设施提供商正借此扩大面向企业的AI产品组合。

Akamai Inference通过兼容OpenAI的API提供对开放权重和自定义AI模型的托管访问,而Akamai Agent Sandbox则提供一个隔离环境,用于执行由AI智能体编写的代码。

这些服务是Akamai战略的一部分,旨在提供在单一平台上构建、运行和保护AI应用的基础设施。该公司表示,其云基础设施覆盖核心区域的GPU和CPU集群以及超过4,350个边缘节点。

“我们一直在实施一项AI基础设施战略,其基础理念是AI推理将代表企业关注和投资的主要部分。我们的客户证明了这一论点,并推动我们走得更远,”Akamai Cloud首席运营官兼总经理Adam Karon表示。

“他们希望在同一平台上构建、运行和保护AI。Akamai Inference和Akamai Agent Sandbox增加了推理层和执行层,将我们的AI基础设施转变为完整的AI技术栈,”他补充道。

Akamai Inference让企业能够访问12个开放权重模型,参数量从80亿到2.8万亿不等。初始目录包括NVIDIA Nemotron 3 Ultra、OpenAI gpt-oss-120b和Google Gemma 4,以及用于检索增强生成(RAG)的嵌入模型。

客户可以在无服务器、按使用量付费的推理和专用部署之间进行选择。该服务负责模型执行、编排和身份验证,同时提供对托管数据库、对象存储以及私有和公有云平台连接的访问。

该服务使用兼容OpenAI的API,使开发者能够将其集成到现有应用中,而无需重写这些应用。Akamai表示,请求在其全球网络上运行,以降低延迟并支持服务可用性。

Akamai Agent Sandbox提供一个用于执行由AI智能体编写的代码的环境,将其与智能体自身的运行时分离。

该服务在Akamai Functions上运行智能体,而它们生成的代码则在隔离环境中执行。它使用基于WebAssembly的隔离来对计算、内存、出站网络连接和系统能力实施限制。

该沙箱作为Spin框架的开源组件发布。该公司表示,计划增加更多功能,以管理AI智能体可以访问哪些内容以及哪些系统可以与其交互。

“每个运行智能体的团队都需要围绕这些智能体编写的代码设置边界,”Akamai云技术高级副总裁Jon Alexander表示。

“有些团队希望本季度在托管平台上发布一项AI功能。其他团队则需要专用GPU,按照自己的方式运行前沿级开放模型,”他补充道。

除了这两项服务外,Akamai还通过NVIDIA Blackwell Ultra集群扩充了其专用GPU集群,并正在为其数据中心做好准备,以在2027年支持NVIDIA的Vera Rubin平台。

其GPU基础设施还包括用于低延迟推理的NVIDIA RTX PRO 6000 Blackwell服务器版GPU。专用集群面向希望在自己控制的基础设施上构建、微调和托管模型的企业。

Akamai表示,每个八GPU的Blackwell Ultra节点为每个GPU提供288 GB的HBM3e内存,整个节点为2.3 TB。该基础设施旨在支持涉及推理、长上下文处理和AI智能体的工作负载。

专用部署还让客户能够控制模型版本和弃用时间表,而不受共享基础设施相关的速率限制或排队影响。

新服务为Akamai现有的云基础设施和安全产品增加了托管推理和代码执行能力,使企业可以选择通过托管服务部署模型,或在专用GPU基础设施上运行工作负载。

来源

Analytics India Magazine