先了解这件事
2026年10月,Prime Intellect推出面向前沿开源模型的推理服务平台Prime Inference,提供无服务器端点和预留GPU容量,支持通过OpenAI SDK接入,并具备跨数据中心自动故障转移能力。据其官方发布,首个公开部署的GLM-5.3已于9月22日上线OpenRouter,工具调用错误率接近零、上线以来保持100%可用;服务栈结合NVIDIA Dynamo、vLLM、Mooncake和FlashInfer,采用预填充与解码分离部署,在GB200 NVL72上以1:4的P/D比例实现每组66个会话、每用户101 tok/s。另有报道称,该平台在公开发布前内部日均处理近一万亿token,负载来自RL rollout、合成数据生成、评测和长时间运行的编码智能体,测试中p90词元间延迟降低近40%。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Prime Intellect
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月3日
MarkTechPost
Prime Intellect 推出 Prime Inference，为前沿开源模型提供无服务器与预留推理服务
Prime Intellect 发布 Prime Inference，为前沿开源模型提供无服务器端点和预留 GPU 容量，支持 OpenAI SDK 接入 https://api.pinference.ai/api/v1，并具备跨数据中心自动故障转移。该平台在公开发布前内部日均处理近一万亿 token，负载来自 RL rollout、合成数据生成、评测和长时间运行的编码智能体。其服务栈结合 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，采用预填充与解码分离部署，测试中 p90 词元间延迟降低近 40%，GLM-5.3 在 GB200 NVL72 上以 1:4 预填充解码比实现每组 66 个会话、每用户 101 tok/s。
10月2日
Prime Intellect一手
Prime Inference 发布：面向前沿开源模型的高可靠推理服务
Prime Intellect 发布 Prime Inference，提供 serverless 端点和预留容量，在多个数据中心的 GPU 基础设施上服务前沿开源模型。首个公开部署 GLM-5.3 于 9 月 22 日上线 OpenRouter，工具调用错误率接近零、上线以来 100% 可用。该服务基于 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，兼容 OpenAI SDK，在 GB200 NVL72 上以 1:4 的 P/D 比例实现每组 66 个会话、101 tok/s/user。