Prime Intellect 推出 Prime Inference,为前沿开源模型提供无服务器与预留推理服务
Prime Intellect 发布 Prime Inference,为前沿开源模型提供无服务器端点和预留 GPU 容量,支持 OpenAI SDK 接入 https://api.pinference.ai/api/v1,并具备跨数据中心自动故障转移。该平台在公开发布前内部日均处理近一万亿 token,负载来自 RL rollout、合成数据生成、评测和长时间运行的编码智能体。其服务栈结合 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer,采用预填充与解码分离部署,测试中 p90 词元间延迟降低近 40%,GLM-5.3 在 GB200 NVL72 上以 1:4 预填充解码比实现每组 66 个会话、每用户 101 tok/s。
匹配字段摘要


