E2E Networks 推出 Blaze：按 token 计费的 AI 推理服务
E2E Networks Launches Blaze To Offer Pay-Per-Token AI Inference Services
E2E Networks 推出按 token 计费的推理服务 Blaze，开发者可通过单一 OpenAI 兼容 API 调用 NVIDIA Nemotron、Sarvam、DeepSeek、Qwen、GLM 和 Gemma 等开放权重模型，模型托管与扩缩容由 E2E 负责。该平台运行在印度境内的 NVIDIA GPU 基础设施上，并借助 KV cache 复用降低推理成本。E2E 表示其 AI 工厂容量将扩展至约 14.6 MW，其中包括自 5 月起运行的 1,024-GPU NVIDIA Blackwell 集群。
正文 · AI 翻译
E2E表示，其AI工厂容量将扩展至约14.6 MW。这包括一个自5月起投入运行的1,024-GPU NVIDIA Blackwell集群，以及额外5.4 MW的Blackwell容量，其中包括HGX B300系统。E2E Networks推出了Blaze，这是一项按token计费的推理服务，允许开发者和企业通过单一API访问多个开放AI模型。该平台由托管在印度的NVIDIA GPU基础设施提供支持，旨在支撑生产级AI工作负载。
此次发布正值印度AI公司从试点项目转向生产部署之际，对高性价比推理和更低延迟的需求随之增加。E2E表示，AI智能体带来的token消耗不断上升、数据主权要求以及日益增长的AI辅助开发成本，正迫使企业提升token效率。
Blaze提供兼容OpenAI的API，用于访问开放权重模型，包括NVIDIA Nemotron、Sarvam、DeepSeek、Qwen、GLM和Gemma。客户只需为所使用的token付费，而E2E负责模型托管和扩缩容。
“客户有需求，希望在作为主权计算的NVIDIA云合作伙伴、配备NVIDIA参考设计集群的环境中运行前沿级开放权重模型。Blaze在印度的E2E Cloud上提供了这一能力。Blaze可轻松与所有E2E Cloud平台服务集成，”E2E Networks创始人兼董事总经理Tarun Dua表示。
该平台专为推理密集型应用而设计，例如语音、编码智能体、文档AI、光学字符识别、图像和视频生成以及语言应用。对于对延迟敏感的语音和聊天工作负载，Blaze可更快生成第一句话。它还利用键值（KV）缓存复用来降低推理成本。
Blaze集成了来自NVIDIA DSX OS的开源组件，该OS是NVIDIA DSX AI Factory平台内的软件层。NVIDIA Dynamo提供分布式模型服务，包括KV缓存感知路由以及分离的预填充和解码处理。
NVIDIA Grove和KAI Scheduler在E2E的Kubernetes基础设施上协调推理工作负载。同时，NVIDIA BlueField DPU、DOCA和Infra Controller在客户之间提供硬件级隔离，面向银行、医疗和公共部门等行业。
E2E还将Blaze与其现有的AI平台TIR并列定位，TIR通过托管Kubernetes支持在NVIDIA Blackwell GPU集群上进行自托管推理、模型预训练和后训练。
这两个平台共同为客户提供了一条从模型训练和微调到生产推理的路径。客户还可以通过TIR的托管基础设施来服务自己的模型或微调后的模型。