是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟降低 32.4%
是石科技在 2026 CCF 全国高性能计算学术大会期间发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。其 TokenPilot 在 GLM5.3 调优数据中使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;SLOMax 流控协同调度使达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。
了调度希望改善的产出结构。实际收益仍需结合具体负载与服务门槛验证。 同样规模的总产出,如果能减少超时、取消和重复计算,就有机会交付更多达标Token。SLOMax把这些结果纳入反馈,用于调整后续资源分配。 TokenFleet把推理服务的优化推进到集群层面。实例性能如何分配给不同请求,多个机房的容量如何参与服务,都需要调度把资源与业务要求接起来。 是石科技(METASTONE)是一家 独立第三方全栈算力运营商 ,不绑定任何特定大模型厂商,为客户提供涵盖 硬件、组网、调度、优化与运营的一站式全栈算力交付服务 。 凭借源自国家级计算中心的丰富经验,其算力集群运行SLA达到99.95%以上。目前,是石科技已纳管超过20000P+的算力资源,运营10多个超智算中心,其中有2个国家级超算中心;团队成员曾荣获3项戈登·贝尔奖,积累了超大规模集群的全栈技术服务经验。 围绕国产Token优化工厂,是石科技以自研自用持续打磨软件能力,希望让通用、高频的推理服务更经济,让国产算力发挥更多能力。 此前发布的Meta-Infer高效推理引擎,着力提升单个推理实例的执行效率。此次TokenFleet则把重点放在
匹配字段正文
