Sarvam Token Factory 上提供的模型包括 Sarvam 105B、Gemma 4 31B、GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro、Qwen 3.8 27B、Sarvam Prism、GLM 5.3 Flash、DeepSeek V4 Pro、Clef、EmbeddingGemma 2、Sarvam 105B Conversations。
2026年11月7日·阅读时长11分钟今天,我们面向所有人推出 Sarvam Token Factory。Token Factory 是我们的推理技术栈,用于在位于印度的 GPU 集群上托管我们自研的模型以及领先的开源权重模型。在我们提供的大多数模型上,我们在速度和成本两方面都达到或超越了全球领先的推理服务提供商。
除 Sarvam 105B 外,我们还通过一个兼容 OpenAI 的 API 提供 GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。查看完整的 模型目录.
Sarvam Token Factory 一览
- 成本: 我们为所服务的每个模型提供具有全球竞争力的定价。DeepSeek V4.1 Flash 以每百万输入 token 14 卢比、每百万输出 token 55 卢比的 introductory 价格上线。
- 性能:
- 延迟: 在 10K token 的提示下,Gemma 4 31B 在 0.40 秒 内返回首个 token,比唯一另一家提供该模型的服务商快 5 倍 。
- 吞吐量: 在编码任务上测得,Kimi K3.1 Pro 在相同的单用户速度下,每 GPU 的 token 吞吐量最高可达 1.9 倍 ,与 InferenceX 公布的结果相当。
- 缓存: 我们为最新的注意力架构构建了带缓存感知路由和准入的三级缓存。在 DeepSeek V4.1 Flash 上,我们每天在各类用例中服务 450B+ token,其中 95.7% 的提示 token 由缓存提供。
- 规模: 我们运营着印度最大的 B200 集群,并正在扩充我们的机群,以在人口规模上服务更多模型。
- 部署: 除 Sarvam Token Factory 外,我们还在关键机构内部本地运行这套推理优化技术栈。
性能:吞吐量与延迟
Gemma 4 31B 专为印度语言的实时对话和聊天而构建。从孟买测得,在 10K token 的提示下,Gemma 4 31B 在 0.40 秒内返回首个 token,并以每秒 308 token 的速度流式输出。
从孟买访问 Gemma 4 31B,10K token 提示
首 token 时间,越低越好
输出速度,越高越好
从孟买访问 Gemma 4 31B,10K token 提示。首 token 时间:Sarvam Token Factory 0.40 秒,其他服务商 2.00 秒。输出速度:Sarvam Token Factory 每秒 308 token,其他服务商每秒 193 token。
| 服务商 | 首 token 时间(秒) | 输出速度(token/秒) |
|---|---|---|
| Sarvam Token Factory | 0.40 | 308 |
| 其他服务商 | 2.00 | 193 |
DeepSeek V4.1 Flash 1017 是 OpenRouter 上使用最广泛的模型之一,可通过两个端点使用。Interactive 端点每用户约每秒 200 token,专为编码智能体构建。Standard 端点专为后台和批处理工作构建,价格和速度与 GPT-6 Luna 及 DeepSeek 自有 API 相当。两个端点均以模型的原始精度提供服务。按每百万 token 计,Interactive 的输入价格为 25 卢比、输出价格为 105 卢比,Standard 的输入价格为 14 卢比、输出价格为 55 卢比。
DeepSeek V4.1 Flash:价格与输出速度对比
DeepSeek V4.1 Flash:价格与输出速度对比。Sarvam Standard:混合价格每百万 token 0.092 美元,输出速度 130 tok/s。Sarvam Interactive:混合价格每百万 token 0.168 美元,输出速度 200 tok/s。DeepSeek API:混合价格每百万 token 0.092 美元,输出速度 60 tok/s。Together:混合价格每百万 token 0.184 美元,输出速度 278 tok/s。Baseten:混合价格每百万 token 0.185 美元,输出速度 165 tok/s。Fireworks:混合价格每百万 token 0.184 美元,输出速度 193 tok/s。Fireworks US:混合价格每百万 token 0.276 美元,输出速度 169 tok/s。Luna(OpenAI),GPT-6 Luna 供参考:混合价格每百万 token 0.077 美元,输出速度 67 tok/s。
| 端点 | 混合价格(美元/百万 token) | 每秒输出 token 数 |
|---|---|---|
| Sarvam Standard | 0.092 | 130 |
| Sarvam Interactive | 0.168 | 200 |
| DeepSeek API | 0.092 | 60 |
| Together | 0.184 | 278 |
| Baseten | 0.185 | 165 |
| Fireworks | 0.184 | 193 |
| Fireworks US | 0.276 | 169 |
| Luna(OpenAI) | 0.077 | 67 |
从印度测得,在 10K token 提示下,Token Factory 在 GLM 5.3 的首 token 时间上与最快的服务商持平。我们以相同方式测量了每个服务商,采用了复刻 Artificial Analysis 方法的方式。每次测试一次发送一个提示,分别为 1K 和 10K token,由 AWS 孟买的客户端发出。我们报告 72 小时内的中位数。
(此图需要更新**)
从孟买测得的首 token 时间,越低越好
Sarvam Token FactoryTogetherFireworksDeepInfraGLM 5.3:首 token 时间
DeepSeek V4.1 Flash:首 token 时间
从孟买测得的首 token 时间,越低越好。GLM 5.3:1K token 提示,Sarvam Token Factory 0.68 秒,Together 0.82 秒,Fireworks 0.84 秒,DeepInfra 2.17 秒;10K token 提示,Sarvam Token Factory 1.19 秒,Together 1.19 秒,Fireworks 1.57 秒,DeepInfra 2.18 秒。DeepSeek V4.1 Flash:1K token 提示,Sarvam Token Factory 0.51 秒,Together 0.61 秒,Fireworks 1.01 秒,DeepInfra 1.08 秒;10K token 提示,Sarvam Token Factory 0.90 秒,Together 0.71 秒,Fireworks 1.55 秒,DeepInfra 1.75 秒。
| 模型与提示 | Sarvam Token Factory(秒) | Together(秒) | Fireworks(秒) | DeepInfra(秒) |
|---|---|---|---|---|
| GLM 5.3,1K token 提示 | 0.68 | 0.82 | 0.84 | 2.17 |
| GLM 5.3,10K token 提示 | 1.19 | 1.19 | 1.57 | 2.18 |
| DeepSeek V4.1 Flash,1K token 提示 | 0.51 | 0.61 | 1.01 | 1.08 |
| DeepSeek V4.1 Flash,10K token 提示 | 0.90 | 0.71 | 1.55 | 1.75 |
我们将我们的技术栈与上游 vLLM 和 Dynamo(不含我们的改动)在 GLM 5.3 Flash 上进行了对比,两个技术栈均在同一批 B200 节点上采用分离式部署,并与 InferenceX 在 Kimi K3.1 Pro 上公布的结果进行了对比。
在 GLM 5.3 Flash 上,于同样的两个 B200 节点上运行 SemiAnalysis 的 AgentX 编码智能体轨迹时,我们的技术栈返回首 token 的速度比原生 vLLM 和 Dynamo 快至多 2.1 倍,同时每 GPU 吞吐量相同。在 64 个并发会话下,首 token 中位耗时为 667 毫秒,而对比组为 1,428 毫秒;最慢的 1% 等待 3.2 秒,而对比组为 14.1 秒。两个技术栈每用户的流式输出速度大致相同,因为增益来自预填充,而非解码。
在相同每 GPU token 数下,GLM 5.3 Flash 的回答速度快至多 2.1 倍
Sarvam 优化技术栈原生开源技术栈1,428 毫秒 → 667 毫秒
64 个会话下的首 token 中位数,快 2.1 倍
14.1 秒 → 3.2 秒
64 个会话下最慢 1% 的首 token(p99),快 4.4 倍
190 → 192 tok/s
64 个会话下每用户输出速度中位数
在相同每 GPU token 数下,GLM 5.3 Flash 的回答速度快至多 2.1 倍。Sarvam 优化技术栈在 1 个会话下:首 token 中位数 699 毫秒,p99 2.3 秒,每 GPU 每秒 1,097 token,每用户 248。Sarvam 优化技术栈在 4 个会话下:首 token 中位数 503 毫秒,p99 1.7 秒,每 GPU 每秒 1,131 token,每用户 234。Sarvam 优化技术栈在 16 个会话下:首 token 中位数 551 毫秒,p99 2.7 秒,每 GPU 每秒 1,725 token,每用户 229。Sarvam 优化技术栈在 32 个会话下:首 token 中位数 646 毫秒,p99 2.2 秒,每 GPU 每秒 6,455 token,每用户 220。Sarvam 优化技术栈在 64 个会话下:首 token 中位数 667 毫秒,p99 3.2 秒,每 GPU 每秒 10,768 token,每用户 192。原生开源技术栈在 1 个会话下:首 token 中位数 1,043 毫秒,p99 3.8 秒,每 GPU 每秒 1,038 token,每用户 241。原生开源技术栈在 4 个会话下:首 token 中位数 912 毫秒,p99 9.7 秒,每 GPU 每秒 1,087 token,每用户 232。原生开源技术栈在 16 个会话下:首 token 中位数 959 毫秒,p99 4.2 秒,每 GPU 每秒 1,692 token,每用户 227。原生开源技术栈在 32 个会话下:首 token 中位数 1,168 毫秒,p99 14.2 秒,每 GPU 每秒 6,370 token,每用户 215。原生开源技术栈在 64 个会话下:首 token 中位数 1,428 毫秒,p99 14.1 秒,每 GPU 每秒 10,193 token,每用户 190。
| 技术栈 | 会话数 | 首 token p50(毫秒) | 首 token p99(秒) | 每 GPU token 数(tok/s) | 每用户输出(tok/s) |
|---|---|---|---|---|---|
| Sarvam 优化技术栈 | 1 | 699 | 2.3 | 1,097 | 248 |
| Sarvam 优化技术栈 | 4 | 503 | 1.7 | 1,131 | 234 |
| Sarvam 优化技术栈 | 16 | 551 | 2.7 | 1,725 | 229 |
| Sarvam 优化技术栈 | 32 | 646 | 2.2 | 6,455 | 220 |
| Sarvam 优化技术栈 | 64 | 667 | 3.2 | 10,768 | 192 |
| 原生开源技术栈 | 1 | 1,043 | 3.8 | 1,038 | 241 |
| 原生开源技术栈 | 4 | 912 | 9.7 | 1,087 | 232 |
| 原生开源技术栈 | 16 | 959 | 4.2 | 1,692 | 227 |
| 原生开源技术栈 | 32 | 1,168 | 14.2 | 6,370 | 215 |
| 原生开源技术栈 | 64 | 1,428 | 14.1 | 10,193 | 190 |
在 SemiAnalysis 的智能体轨迹上,在 14 至 48 个并发会话范围内,我们在相同每用户速度下每 GPU 服务的 token 数最多达到 InferenceX 的 1.9 倍,对比的是其公布的 Kimi K3.1 Pro 结果。
在相同每用户速度下,Kimi K3.1 Pro 每 GPU 服务的 token 数达到 1.9 倍
Sarvam 推理技术栈InferenceX 技术栈1.9 倍吞吐量
相同每用户速度:每用户 70 tok/s(中位数),我们的 c24 对比 InferenceX 曲线
9.1K → 13.4K tok/s
每 GPU 峰值 token 数,各曲线上的最佳点(1.5 倍)
在相同的每用户速度下,Kimi K3.1 Pro 每 GPU 服务的 token 数是 1.9 倍。Sarvam 推理栈在 1 个会话时:每 GPU 每秒 667 个 token,每用户每秒 112.2 个 token。Sarvam 推理栈在 4 个会话时:每 GPU 每秒 1,282 个 token,每用户每秒 91.2 个 token。Sarvam 推理栈在 8 个会话时:每 GPU 每秒 2,189 个 token,每用户每秒 86.1 个 token。Sarvam 推理栈在 14 个会话时:每 GPU 每秒 3,411 个 token,每用户每秒 83.3 个 token。Sarvam 推理栈在 24 个会话时:每 GPU 每秒 6,177 个 token,每用户每秒 69.5 个 token。Sarvam 推理栈在 48 个会话时:每 GPU 每秒 10,909 个 token,每用户每秒 48.1 个 token。Sarvam 推理栈在 72 个会话时:每 GPU 每秒 12,807 个 token,每用户每秒 31.2 个 token。Sarvam 推理栈在 96 个会话时:每 GPU 每秒 13,387 个 token,每用户每秒 21.9 个 token。InferenceX 栈在 1 个会话时:每 GPU 每秒 711 个 token,每用户每秒 164.5 个 token。InferenceX 栈在 4 个会话时:每 GPU 每秒 1,437 个 token,每用户每秒 107.2 个 token。InferenceX 栈在 8 个会话时:每 GPU 每秒 2,271 个 token,每用户每秒 84.0 个 token。InferenceX 栈在 14 个会话时:每 GPU 每秒 3,472 个 token,每用户每秒 65.4 个 token。InferenceX 栈在 24 个会话时:每 GPU 每秒 6,106 个 token,每用户每秒 51.5 个 token。InferenceX 栈在 48 个会话时:每 GPU 每秒 9,066 个 token,每用户每秒 32.8 个 token。InferenceX 栈在 72 个会话时:每 GPU 每秒 4,523 个 token,每用户每秒 7.1 个 token。InferenceX 栈在 96 个会话时:每 GPU 每秒 6,244 个 token,每用户每秒 8.0 个 token。在每用户每秒 70 个 token 时,我们的方案每 GPU 每秒服务 6,177 个 token,而 InferenceX 曲线上为 3,213 个。
| 栈 | 会话数 | 每用户输出中位数(tok/s) | 每 GPU token 数(tok/s) |
|---|---|---|---|
| Sarvam 推理栈 | 1 | 112.2 | 667 |
| Sarvam 推理栈 | 4 | 91.2 | 1,282 |
| Sarvam 推理栈 | 8 | 86.1 | 2,189 |
| Sarvam 推理栈 | 14 | 83.3 | 3,411 |
| Sarvam 推理栈 | 24 | 69.5 | 6,177 |
| Sarvam 推理栈 | 48 | 48.1 | 10,909 |
| Sarvam 推理栈 | 72 | 31.2 | 12,807 |
| Sarvam 推理栈 | 96 | 21.9 | 13,387 |
| InferenceX 栈 | 1 | 164.5 | 711 |
| InferenceX 栈 | 4 | 107.2 | 1,437 |
| InferenceX 栈 | 8 | 84.0 | 2,271 |
| InferenceX 栈 | 14 | 65.4 | 3,472 |
| InferenceX 栈 | 24 | 51.5 | 6,106 |
| InferenceX 栈 | 48 | 32.8 | 9,066 |
| InferenceX 栈 | 72 | 7.1 | 4,523 |
| InferenceX 栈 | 96 | 8.0 | 6,244 |
在 72 个并发会话时,InferenceX 的 KV 缓存占用达到 89%,并开始驱逐前缀。这些前缀会被重新预填充,p95 TTFT 攀升至 77 秒。我们采用 Moonshot 的 Mooncake(G3),这是一个共享缓存,可让前缀在多个预填充服务器之间保持存活,而不是将其驱逐。结合按引擎设置的会话上限,在相同负载下 p95 TTFT 保持在 3.1 秒。
在智能体高负载下,共享缓存使首 token 时间保持稳定
72 个并发会话
中位数(p50)
最慢 5%(p95)
96 个并发会话
中位数(p50)
最慢 5%(p95)
12.8K 对 4.5K
72 个会话,每 GPU tok/s,Sarvam 对 InferenceX
13.4K 对 6.2K
96 个会话,每 GPU tok/s,Sarvam 对 InferenceX
在智能体高负载下,共享缓存使首 token 时间保持稳定。72 个会话(双方均开启推测解码;其 KV 缓存占用 89%):首 token 中位数 Sarvam 0.8 秒,InferenceX 11.6 秒;第 95 百分位 Sarvam 3.1 秒,InferenceX 76.6 秒;吞吐量 12.8K 对 4.5K 每 GPU 每秒 token 数。96 个会话(InferenceX 关闭推测解码):首 token 中位数 Sarvam 1.1 秒,InferenceX 0.9 秒;第 95 百分位 Sarvam 9.3 秒,InferenceX 18.8 秒;吞吐量 13.4K 对 6.2K 每 GPU 每秒 token 数。
| 会话数 | 条件 | Sarvam p50(秒) | InferenceX p50(秒) | Sarvam p95(秒) | InferenceX p95(秒) | 每 GPU token 数,Sarvam 对 InferenceX |
|---|---|---|---|---|---|---|
| 72 | 双方均开启推测解码;其 KV 缓存占用 89% | 0.79 | 11.58 | 3.13 | 76.62 | 12.8K 对 4.5K |
| 96 | InferenceX 关闭推测解码 | 1.08 | 0.87 | 9.29 | 18.83 | 13.4K 对 6.2K |
技术深度解析
分离式架构、推测解码、量化和前缀缓存都是成熟的技术。每个新模型都会检验其实现背后的假设,从内核正确性和注意力状态存储,到真实流量下的调度。每个问题都会影响速度、成本或正确性。这些问题需要在模型发布后数小时内被发现并修复。
我们的工作横跨三个层面:
- 推理引擎决定 GPU 将请求转化为 token 的效率。
- 缓存决定有多少工作只需执行一次。
- 控制平面决定每个请求分配给哪块 GPU、何时分配,以及该 GPU 内存中已有什么。
Token Factory:围绕共享缓存的三个层面
请求控制平面
缓存感知路由器
将每一轮发送到其提示所在的位置
准入控制
仅统计未缓存的 token
规划器
根据拒绝和背压进行扩缩容
推理引擎
预填充池
一次读取整个提示
调优的全互联、MXFP8 和 NVFP4
解码池
一次生成一个 token
融合 clamp 内核、后缀树草稿
共享缓存
GPU 内存
保存提示约 4 秒
负载下约 2 秒
G3 共享存储(Mooncake)
由每个预填充服务器读取
根据流量情况将提示保存数小时或数天
Token Factory:围绕共享缓存的三个层面。请求进入控制平面:缓存感知路由器:将每一轮发送到其提示所在的位置;准入控制:仅统计未缓存的 token;规划器:根据拒绝和背压进行扩缩容。路由器将工作发送到推理引擎的预填充池:一次读取整个提示;调优的全互联、MXFP8 和 NVFP4,在对齐的检查点将 KV 和模型状态传递给解码池:一次生成一个 token;融合 clamp 内核、后缀树草稿。规划器对解码池进行扩缩容。预填充池读取两级缓存:GPU 内存:保存提示约 4 秒;负载下约 2 秒;G3 共享存储(Mooncake):由每个预填充服务器读取;根据流量情况将提示保存数小时或数天。
| 组件 | 层面 | 功能 |
|---|---|---|
| 缓存感知路由器 | 控制平面 | 将每一轮发送到其提示所在的位置 |
| 准入控制 | 控制平面 | 仅统计未缓存的 token |
| 规划器 | 控制平面 | 根据拒绝和背压进行扩缩容 |
| 预填充池 | 推理引擎 | 一次读取整个提示;调优的全互联、MXFP8 和 NVFP4 |
| 解码池 | 推理引擎 | 一次生成一个 token;融合 clamp 内核、后缀树草稿 |
| GPU 内存 | 共享缓存 | 保存提示约 4 秒;负载下约 2 秒 |
| G3 共享存储(Mooncake) | 共享缓存 | 由每个预填充服务器读取;根据流量情况将提示保存数小时或数天 |
长智能体会话需要将预填充和解码放在不同的 GPU 上
每个请求都要经过两个阶段。预填充在一次计算密集的遍历中读取整个提示,随后解码一次生成一个 token,受内存带宽限制。当两者共享一块 GPU 时,每个新的 100K token 编码提示都会让该 GPU 上所有正在解码的会话停滞。我们将这两个阶段运行在独立的池上,各自针对自身的工作进行配置,并在 KV 传输层中除 InfiniBand 外新增了 EFA 支持,使这种拆分能在我们所有集群上运行。
拆分预填充和解码如今已是标准做法。进一步的收益取决于在 GPU 之间正确传输缓存、注意力状态和草稿模型状态。我们将实时语音工作负载保留在同一块 GPU 上,而不采用分离式架构,因为它们的输入 token 较短。
跨模型的核函数调优有助于同时解决正确性和性能问题
GLM 5.3 Flash 将专家激活值钳制在固定范围内。vLLM 的融合解码内核跳过了这一步,导致与参考实现偏差高达 165%,并在代码缩进处出现乱码字符。我们将钳制、激活、乘法和量化融合到一个内核中。它在范围内输入上与参考实现逐位一致,运行速度约快 40%。在 AgentX 上,缺失的钳制表现为 299 条长代码响应中有 32 条出现乱码中文字符。加入钳制后,一条都没有。
另外两个 bug 导致从第一个 token 起就输出乱码。初始化索引器缓存的内核缺少位置输入,因此请求尾部写入同一个缓存块并相互竞争。被拒绝的草稿 token 也可能覆盖已提交的键。修复这两处后,我们的测试台不再返回乱码输出,草稿接受率从 38% 升至 84%,在提升正确性的同时也提高了速度。在 GLM 5.3 Flash 上,我们将预填充延迟追溯到 GPU 之间的全互联交换。vLLM 为此交换分配 20 个 GPU 计算单元。将其增加到 64:96 并调整块大小后,在 90% 缓存命中率下,首 token 中位时间从 28.7 秒降至 4.7 秒。再加上两处内核改动,未缓存预填充吞吐量从每 GPU 约 14K 提升至 22K token 每秒。
在 DeepSeek V4.1 Flash 1017 上,DeepGEMM 的 MegaMoE 内核在 128 个并发会话下将解码吞吐量提升了 28%。升级到 vLLM v0.32 后,在 84% 缓存命中率下测得,未缓存预填充吞吐量从每 GPU 约 19K 提升至 41K token 每秒。
转向 MXFP8
在每种格式上线前,我们都会在自己的流量上对其进行端到端测量。GLM 5.3 从 SGLang 上的 FP8 权重迁移到 vLLM 上的 MXFP8 权重。MXFP8 是一种 8 位格式,每 32 个值共享一个缩放因子,B200 的张量核心原生支持它。每 GPU 未缓存预填充翻倍,从约 3.7K 提升至 7.6K token 每秒,解码提升 25%,真实聊天中的 p95 首 token 时间减半,准确率与 FP8 基线相比保持不变。MXFP8 自 10 月中旬起已在生产环境中服务 GLM 5.3。
在 vLLM 上将 GLM 5.3 迁移到 MXFP8 使每 GPU 未缓存预填充翻倍
未缓存预填充
2.1×
解码
+25%
真实聊天,TTFT p95
降低 2.1 倍
在 vLLM 上将 GLM 5.3 迁移到 MXFP8 使每 GPU 未缓存预填充翻倍。未缓存预填充:SGLang FP8 为每 GPU 每秒 3,700 个输入 token,vLLM MXFP8 为 7,600。解码:SGLang FP8 为每秒 5,226 个输出 token,vLLM MXFP8 为 6,519。真实聊天 p95 首 token 时间:SGLang FP8 为 19.6 秒,vLLM MXFP8 为 9.2 秒。
| 指标 | SGLang FP8 | vLLM MXFP8 |
|---|---|---|
| 未缓存预填充(每 GPU 每秒输入 token 数) | 3,700 | 7,600 |
| 解码(每秒输出 token 数) | 5,226 | 6,519 |
| 真实聊天,p95 首 token 时间(秒) | 19.6 | 9.2 |
多级缓存,实现智能体多轮之间的上下文复用
GLM 5.3 上的智能体提示平均为 131K token。工具调用后,智能体会在数十秒或数分钟后带着几乎相同的提示返回。GPU 内存仅保留该上下文约 4 秒,负载下降至 2 秒。几乎每个返回的轮次都需要完整预填充,重复计算并增加延迟。我们为每个预填充服务器添加了 G3 以保留上下文,使智能体返回时可以复用。
在生产环境中运行一周后,在 DeepSeek 上,综合缓存命中率从 91.4% 升至 95.7%,需要预填充的 token 减半。在 GLM 5.3 的流量高峰期,G3 将所需预填充节点从 58 个减少到 34 个。
生产环境中提示 token 的供给来源
按供给来源划分的提示 token 占比
GPU 缓存G3重新计算生产环境中提示词元的供给来源。DeepSeek V4.1 Flash,872B提示词元:91.4%来自GPU缓存,4.3%来自G3,4.3%重新计算。GLM 5.3,164B提示词元:88.6%来自GPU缓存,3.4%来自G3,8.1%重新计算。
| 模型 | 提示词元 | GPU缓存(%) | G3(%) | 重新计算(%) |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 872B提示词元 | 91.4 | 4.3 | 4.3 |
| GLM 5.3 | 164B提示词元 | 88.6 | 3.4 | 8.1 |
使多级缓存与新注意力架构对齐
在DeepSeek V4.1 Flash 1017上,滑动窗口缓存的查找与写入使用了不同的位置,导致74%的提示长度无法命中G3。上下文虽已缓存却无法被找到,于是GPU再次处理了它。我们对齐了位置,将冷缓存命中率从37.1%提升至99.8%,并将延迟从2.80秒降至0.64秒,且未增加额外存储。对于其他混合模型,我们在每个轮次边界将滑动窗口状态同时保存到GPU内存和G3中。这使无可复用上下文的返回对话占比从78%降至8.5%。
DeepSeek V4.1 Flash:哪些提示长度命中了缓存
未命中:完整重新预填充命中修复后命中37.1% → 提升至99.8%
G3冷命中率
2.80秒 → 降至0.64秒
延迟
1,878字节/词元
存储成本,与GPU缓存相同,无额外块
未修复
上游:GPU缓存修复 #57613 仍处于开启状态,且在每个边界额外存储一个块
DeepSeek V4.1 Flash:哪些提示长度命中了缓存。每个单元格代表提示长度对128取模的一个值。GPU缓存,修复前,在余数1至32处未命中:25%的长度未命中。G3存储,修复前,在余数33至127处未命中:74.2%的长度未命中。两者,修复后,每个余数均命中:0%未命中。G3冷命中率从37.1%升至99.8%。延迟从2.80秒降至0.64秒。存储成本为每词元1,878字节,与GPU缓存相同。上游:未修复。
| 缓存 | 未命中的余数 | 未命中的长度占比 |
|---|---|---|
| GPU缓存,修复前 | 1至32 | 25% |
| G3存储,修复前 | 33至127 | 74.2% |
| 两者,修复后 | 无 | 0% |
使控制平面具备缓存感知能力
Dynamo的路由器会考虑缓存在GPU、主机内存和磁盘上的上下文,但在使用vLLM和G3时,它漏掉了共享的Mooncake缓存命中,并将已缓存的词元计为新的预填充工作。准入限制也计入了这些词元,且按前端分别计算,在一次缓存密集的测试中拒绝了1,400个请求中的1,381个,而GPU大多处于空闲状态。规划器无法看到这些拒绝,因此短队列掩盖了未满足的需求。我们更新了路由,以考虑G3命中和拥塞情况,在上下文复用与容量之间取得平衡。准入现在仅统计未缓存的词元,并在各前端之间使用统一的共享在途限制,同一测试得以完成且无拒绝。
路由器缓存命中统计与工具调用语法,修复前后
发送到错误工作节点的请求
17.6% → 降至3.5%
首词元时间,p95
24秒 → 降至9秒
工具调用以原始文本形式泄漏
7.7% → 降至0.08%
路由器缓存命中统计与工具调用语法,修复前后。在128个并发会话下,发送到错误工作节点的请求从原始统计的17.6%降至修复后的3.5%,p95首词元时间从24秒降至9秒。DeepSeek V4.1 Flash工具调用以原始文本形式泄漏的比例从无语法时的7.7%降至使用DSML语法时的0.08%。
| 指标 | 修复前 | 修复后 |
|---|---|---|
| 发送到错误工作节点的请求(原始统计对比修复后) | 17.6% | 3.5% |
| 首词元时间,p95(原始统计对比修复后) | 24秒 | 9秒 |
| 工具调用以原始文本形式泄漏(无语法对比DSML语法) | 7.7% | 0.08% |
原始规划器与我们的规划器在相同重放负载下的对比
预填充GPU小时数,从负载开始起104分钟
减少47%
最差分钟,p95首词元时间
在SLA范围内
1,050 对比 1,054
完成的请求数
78.5%
两次运行中的缓存命中率
0.3 → 0.5 → 1
30分钟爬坡期间的每秒请求数
40(约4%)
在峰值时被我们短暂拒绝
原始规划器与我们的规划器在相同重放负载下的对比。104分钟内的预填充GPU小时数:原始规划器32.3,我们的规划器17.1。最差分钟p95首词元时间:原始规划器19.7秒,我们的规划器9.96秒,对照10秒SLA。两次运行:分别完成1,050和1,054个请求,两次运行的缓存命中率均为78.5%,负载在30分钟内以每秒0.3、0.5、1个请求的速率爬坡;峰值时40个(约4%)被我们短暂拒绝。时间线,原始规划器:约1分钟,第2个Pod忙碌度2%;约21分钟,p95为19.7秒,第3个Pod忙碌度9%;约105分钟,仍为2个Pod。我们的规划器:约20分钟,40个请求收到529;约23分钟,第2个Pod开始服务;约47分钟,恢复为1个Pod。
| 指标 | 原始规划器 | 我们的规划器 |
|---|---|---|
| 预填充GPU小时数,104分钟 | 32.3 | 17.1 |
| 最差分钟p95首词元时间(秒) | 19.7 | 9.96 |
| 原始规划器事件:第2个Pod忙碌度2%(分钟) | 1 | |
| 原始规划器事件:p95为19.7秒,第3个Pod忙碌度9%(分钟) | 21 | |
| 原始规划器事件:仍为2个Pod(分钟) | 105 | |
| 我们的规划器事件:40个请求收到529(分钟) | 20 | |
| 我们的规划器事件:第2个Pod开始服务(分钟) | 23 | |
| 我们的规划器事件:回到 1 个 Pod(最小值) | 47 |
新架构携带的状态在 GPU 之间的交接中被丢弃了
分离式服务在预填充到解码的交接中丢弃了模型特定的状态。传输代码假定使用标准的注意力 KV 缓存。
Kimi K3.1 Pro 和 GLM 5.3 Flash 的草稿模型都携带额外状态,而这些状态未能完整到达解码 GPU。
在 Kimi K3.1 Pro 上,预填充 GPU、路由器和解码 GPU 各自使用不同的检查点位置。将它们对齐后,多轮缓存命中率从 39% 提升到 73%。
在 GLM 5.3 Flash 上,草稿模型的缓存只有一部分被传输,因此每步接受的草稿 token 从约 5 个降至 1 个。让两个 GPU 上的缓存布局保持一致后,接受率恢复到 4.7。
对齐状态检查点避免了交接过程中的工作丢失
之前
检查点位于不同位置;不匹配的(空心)会丢失状态
之后
三者都将检查点放在相同的 7,680 token 边界上
Kimi K3.1 Pro,多轮对话
39% → 提升至 73%
GLM 5.3 Flash 草稿模型,每步接受的 token 数
4.92 → 降至 1.05 → 回升至 4.69
对齐状态检查点避免了交接过程中的工作丢失。之前:预填充 GPU、路由器和解码 GPU 将状态检查点放在不同位置,因此只有首尾两处对齐,其余都会丢失状态。之后:三者都将检查点放在相同的 7,680 token 边界上。Kimi K3.1 Pro 多轮前缀缓存命中率:未对齐时 39%,对齐后 73%。GLM 5.3 Flash 草稿模型每步接受的 token 数:拆分前 4.92,拆分且未对齐时 1.05,对齐后 4.69。
| 指标 | 拆分前 | 未对齐 | 已对齐 |
|---|---|---|---|
| Kimi K3.1 Pro 多轮前缀缓存命中率(%) | 39 | 73 | |
| GLM 5.3 Flash 草稿模型,每步接受的 token 数 | 4.92 | 1.05 | 4.69 |
整合所有优化,更高效地服务 Sarvam 105B
对于 Sarvam 105B,我们同时掌控权重和推理引擎,因此可以针对所服务的负载对二者进行联合优化。大部分流量来自智能体,它们具有较长的系统提示、由工具结果不断增长的上下文以及简短回复。从 BF16 权重迁移到 MXFP8 权重并配合 DSpark 投机解码后,输出吞吐量提升了约 2.2 倍,同时每个副本从两台 B200 减少到一台。我们还修复了一个 vLLM 缺陷:该缺陷会在热缓存重启后跳过 CUDA 图,导致 GPU 利用率停留在 38%。四项内核和精度改动在智能体负载上为每块 GPU 额外增加了 30% 的输出。这些改动包括基于真实 MoE 输入校准的 4 位 NVFP4 专家,以及为 105B 的 64 个注意力头定制的 Triton 内核,取代了假定 128 个头的 FlashInfer 内核。当智能体会话超出 GPU 缓存容量时,G3 将吞吐量提升了 2.21 倍,并将需要重新计算的提示 token 占比从 56.8% 降至 17.6%。这些改动均未降低准确率。
Sarvam 105B:按优化步骤累计的加速比
Sarvam 105B:按优化步骤累计的加速比。BF16 基线(2× B200):相对 BF16 基线的累计加速比为 1.00×。引擎内核(编译后的 MLA):相对 BF16 基线的累计加速比为 1.73×。torch.compile + CUDA 图(模型团队):相对 BF16 基线的累计加速比为 2.20×。NVFP4 专家:累计加速比为 2.42×,在智能体流量上较上一步提升 9.8%。Triton K-concat(用于 MLA):累计加速比为 2.59×,在智能体流量上较上一步提升 7.2%。FP8 预填充注意力(TRT-LLM ragged):累计加速比为 2.76×,在智能体流量上较上一步提升 6.7%。融合 FP8 K/V:累计加速比为 2.86×,在智能体流量上较上一步提升 3.6%。最后四步是在 2.20× 的基础上叠加的。
| 步骤 | 累计加速比 | 较上一步的提升 |
|---|---|---|
| BF16 基线(2× B200) | 1.00× | |
| 引擎内核(编译后的 MLA) | 1.73× | |
| torch.compile + CUDA 图(模型团队) | 2.20× | |
| NVFP4 专家 | 2.42× | +9.8% |
| Triton K-concat(用于 MLA) | 2.59× | +7.2% |
| FP8 预填充注意力(TRT-LLM ragged) | 2.76× | +6.7% |
| 融合 FP8 K/V | 2.86× | +3.6% |
Kimi K3.1 Pro 展示了我们能多快地优化一个并非由我们训练的模型。 Kimi K3.1 Pro 占用 1,454 GiB,使用流水线并行跨两个节点运行。我们从 InferenceX 的 B200 配方所使用的 v0.32 之前的 vLLM 每夜构建版本开始。在我们的 EFA 集群上,两个流水线阶段在预热期间发生死锁。我们通过在预热前连接各阶段,并让两者使用相同的预热批次,解决了这个问题。性能分析显示,GPU 在每个解码步骤中有 92–97% 的时间处于忙碌状态。专家 GEMM 占比最大;稀疏注意力占比不到 4%。要进一步获得收益,需要减少每步的工作量。
专家和通信占据了 Kimi K3.1 Pro 解码步骤的一半以上
专家和通信占据了 Kimi K3.1 Pro 解码步骤的一半以上。一个 31.7 毫秒的解码步骤中,GPU 内核时间占比:专家 GEMM(MXFP4 权重)31.9%;通信(张量并行 + 流水线并行)24.1%;稠密 GEMM(MXFP8)17.3%;专家路由 5.1%;线性注意力(KDA)4.1%;注意力(门控稀疏(DSA)+ DCP)3.8%;其他所有项(归一化、复制、采样、其他 GEMM)13.7%。
| 内核组 | 详情 | GPU 时间占比(%) |
|---|---|---|
| 专家 GEMM | MXFP4 权重 | 31.9 |
| 通信 | 张量并行 + 流水线并行 | 24.1 |
| 稠密 GEMM | MXFP8 | 17.3 |
| 专家路由 | 5.1 | |
| 线性注意力 | KDA | 4.1 |
| 注意力 | 门控稀疏(DSA)+ DCP | 3.8 |
| 其他所有项 | 归一化、复制、采样、其他 GEMM | 13.7 |
每一项改动都经过测量:我们保留了六项带来收益的改动
每一项改动都经过测量:我们保留了六项带来收益的改动。保留项:推测期间的一次线性注意力状态复制 +22%;CUDA 图尺寸 320、384、448 +16.7%;在 MoE 路由中跳过 CUDA 图填充行 +12.7%;跨两个节点的不均匀流水线切分 +9.8%;使用 3 个而非 4 个草稿 token 的 DSpark +6.2%;解码时对 BF16 线性层使用 MXFP8 +6%。持平、未保留:将最后阶段的草稿与下一步重叠持平;专家负载均衡(EPLB)持平。
| 测试的改动 | 测量内容 | 测量变化(%) | 结果 |
|---|---|---|---|
| 推测期间的一次线性注意力状态复制 | KV 使用率 40% 而非 99% | +22% | 保留 |
| CUDA 图尺寸 320、384、448 | 不再将 352 请求的步骤填充到 512 | +16.7% | 保留 |
| 在 MoE 路由中跳过 CUDA 图填充行 | 256 个会话时每用户 | +12.7% | 保留 |
| 跨两个节点的不均匀流水线切分 | 吞吐量 | +9.8% | 保留 |
| 使用 3 个而非 4 个草稿 token 的 DSpark | 320 个会话时 | +6.2% | 保留 |
| 解码时对 BF16 线性层使用 MXFP8 | 真实代码上每用户,释放 7.7 GiB | +6% | 保留 |
| 将最后阶段的草稿与下一步重叠 | 修复其 NCCL 死锁后持平 | 持平 | 持平、未保留 |
| 专家负载均衡(EPLB) | 负载已均衡在 0.96 到 0.98 | 持平 | 持平、未保留 |
智能体探索搜索空间,工程师做决定
每一种新的注意力变体、架构和工作负载都会增加更多需要测试的配置。一个编排智能体读取集群遥测数据,并将实验分配给在不同栈层工作的子智能体。他们使用性能分析器、在我们服务器上校准的模拟器以及我们的评估套件来测试每一项改动。模拟会在实时 A/B 测试之前过滤掉大多数候选方案。每一项改动在部署前都由工程师批准。这让我们能在数天内为每个模型运行数十项实验,而无需工程师手动设置每一项。我们基于 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 背后团队的工作进行构建。
可用性
Sarvam Token Factory 今日起向开发者和企业开放。我们将继续扩展可用模型,从第一天起支持新的开放权重模型,并随着需求增长增加算力。我们还在构建更多工具,供开发者在 Token Factory 上构建和部署智能体。
我们已为关键机构本地运行这套栈,并向企业提供相同的部署选项。团队可以选择适合其工作负载的模型,构建自己拥有的 AI 栈,而不会被锁定。
公告产品2026 年 11 月 7 日