SarvamSarvam105BAlibabaQwen 3.827BGoogleEmbeddingGemma 2DeepSeekDeepSeekV4.1 FlashDeepSeekDeepSeekV4 ProGoogleGemma 431BSarvamSarvamPrismSarvamSarvam 105BConversationsMoonshot AIKimiK3.1 ProCloudflareClefZ.aiGLM 5.3Z.aiGLM 5.3FlashMoonshot AIKimiK3.1 ProCloudflareClefZ.aiGLM 5.3Z.aiGLM 5.3FlashSarvamSarvam105BAlibabaQwen 3.827BGoogleEmbeddingGemma 2DeepSeekDeepSeekV4.1 FlashDeepSeekDeepSeekV4 ProGoogleGemma 431BSarvamSarvamPrismSarvamSarvam 105BConversationsDeepSeekDeepSeekV4 ProGoogleGemma 431BSarvamSarvamPrismSarvamSarvam 105BConversationsMoonshot AIKimiK3.1 ProCloudflareClefZ.aiGLM 5.3Z.aiGLM 5.3FlashSarvamSarvam105BAlibabaQwen 3.827BGoogleEmbeddingGemma 2DeepSeekDeepSeekV4.1 FlashSarvamSarvam105BAlibabaQwen 3.827BGoogleEmbeddingGemma 2DeepSeekDeepSeekV4.1 Flash

Sarvam Token Factory 上提供的模型包括 Sarvam 105B、Gemma 4 31B、GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro、Qwen 3.8 27B、Sarvam Prism、GLM 5.3 Flash、DeepSeek V4 Pro、Clef、EmbeddingGemma 2、Sarvam 105B Conversations。

2026年11月7日·阅读时长11分钟

今天,我们面向所有人推出 Sarvam Token Factory。Token Factory 是我们的推理技术栈,用于在位于印度的 GPU 集群上托管我们自研的模型以及领先的开源权重模型。在我们提供的大多数模型上,我们在速度和成本两方面都达到或超越了全球领先的推理服务提供商。

除 Sarvam 105B 外,我们还通过一个兼容 OpenAI 的 API 提供 GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。查看完整的 模型目录.

Sarvam Token Factory 一览

  • 成本: 我们为所服务的每个模型提供具有全球竞争力的定价。DeepSeek V4.1 Flash 以每百万输入 token 14 卢比、每百万输出 token 55 卢比的 introductory 价格上线。
  • 性能:
  • 延迟: 在 10K token 的提示下,Gemma 4 31B 在 0.40 秒 内返回首个 token,比唯一另一家提供该模型的服务商快 5 倍 。
  • 吞吐量: 在编码任务上测得,Kimi K3.1 Pro 在相同的单用户速度下,每 GPU 的 token 吞吐量最高可达 1.9 倍 ,与 InferenceX 公布的结果相当。
  • 缓存: 我们为最新的注意力架构构建了带缓存感知路由和准入的三级缓存。在 DeepSeek V4.1 Flash 上,我们每天在各类用例中服务 450B+ token,其中 95.7% 的提示 token 由缓存提供。
  • 规模: 我们运营着印度最大的 B200 集群,并正在扩充我们的机群,以在人口规模上服务更多模型。
  • 部署: 除 Sarvam Token Factory 外,我们还在关键机构内部本地运行这套推理优化技术栈。

性能:吞吐量与延迟

Gemma 4 31B 专为印度语言的实时对话和聊天而构建。从孟买测得,在 10K token 的提示下,Gemma 4 31B 在 0.40 秒内返回首个 token,并以每秒 308 token 的速度流式输出。

从孟买访问 Gemma 4 31B,10K token 提示

首 token 时间,越低越好

输出速度,越高越好

由 AWS 孟买客户端在 72 小时内测得的中位数。另一家服务商是唯一另一家提供该模型的服务商;其每个柱状条均为该指标下其各档位中的最佳值。

从孟买访问 Gemma 4 31B,10K token 提示。首 token 时间:Sarvam Token Factory 0.40 秒,其他服务商 2.00 秒。输出速度:Sarvam Token Factory 每秒 308 token,其他服务商每秒 193 token。

从孟买访问 Gemma 4 31B,10K token 提示
服务商首 token 时间(秒)输出速度(token/秒)
Sarvam Token Factory0.40308
其他服务商2.00193

DeepSeek V4.1 Flash 1017 是 OpenRouter 上使用最广泛的模型之一,可通过两个端点使用。Interactive 端点每用户约每秒 200 token,专为编码智能体构建。Standard 端点专为后台和批处理工作构建,价格和速度与 GPT-6 Luna 及 DeepSeek 自有 API 相当。两个端点均以模型的原始精度提供服务。按每百万 token 计,Interactive 的输入价格为 25 卢比、输出价格为 105 卢比,Standard 的输入价格为 14 卢比、输出价格为 55 卢比。

DeepSeek V4.1 Flash:价格与输出速度对比

* introductory 定价。将鼠标悬停在任意点上可查看精确数值。

DeepSeek V4.1 Flash:价格与输出速度对比。Sarvam Standard:混合价格每百万 token 0.092 美元,输出速度 130 tok/s。Sarvam Interactive:混合价格每百万 token 0.168 美元,输出速度 200 tok/s。DeepSeek API:混合价格每百万 token 0.092 美元,输出速度 60 tok/s。Together:混合价格每百万 token 0.184 美元,输出速度 278 tok/s。Baseten:混合价格每百万 token 0.185 美元,输出速度 165 tok/s。Fireworks:混合价格每百万 token 0.184 美元,输出速度 193 tok/s。Fireworks US:混合价格每百万 token 0.276 美元,输出速度 169 tok/s。Luna(OpenAI),GPT-6 Luna 供参考:混合价格每百万 token 0.077 美元,输出速度 67 tok/s。

DeepSeek V4.1 Flash:价格与输出速度对比
端点混合价格(美元/百万 token)每秒输出 token 数
Sarvam Standard0.092130
Sarvam Interactive0.168200
DeepSeek API0.09260
Together0.184278
Baseten0.185165
Fireworks0.184193
Fireworks US0.276169
Luna(OpenAI)0.07767

从印度测得,在 10K token 提示下,Token Factory 在 GLM 5.3 的首 token 时间上与最快的服务商持平。我们以相同方式测量了每个服务商,采用了复刻 Artificial Analysis 方法的方式。每次测试一次发送一个提示,分别为 1K 和 10K token,由 AWS 孟买的客户端发出。我们报告 72 小时内的中位数。

(此图需要更新**)

从孟买测得的首 token 时间,越低越好

Sarvam Token FactoryTogetherFireworksDeepInfra

GLM 5.3:首 token 时间

DeepSeek V4.1 Flash:首 token 时间

中位数,每次一个请求,从 AWS 孟买发起,采用复刻 Artificial Analysis 方法的方式。每个服务商均使用其最快层级(Fireworks 上的 GLM 5.3:1K 时为 Priority,10K 时为默认;DeepInfra 上的 DeepSeek V4.1 Flash:Priority)。Sarvam DeepSeek V4.1 Flash:标准端点。Sarvam GLM 5.3 于 2026 年 11 月 6 日测量;所有其他数据为 2026 年 11 月 3 日至 5 日。

从孟买测得的首 token 时间,越低越好。GLM 5.3:1K token 提示,Sarvam Token Factory 0.68 秒,Together 0.82 秒,Fireworks 0.84 秒,DeepInfra 2.17 秒;10K token 提示,Sarvam Token Factory 1.19 秒,Together 1.19 秒,Fireworks 1.57 秒,DeepInfra 2.18 秒。DeepSeek V4.1 Flash:1K token 提示,Sarvam Token Factory 0.51 秒,Together 0.61 秒,Fireworks 1.01 秒,DeepInfra 1.08 秒;10K token 提示,Sarvam Token Factory 0.90 秒,Together 0.71 秒,Fireworks 1.55 秒,DeepInfra 1.75 秒。

从孟买测得的首 token 时间,越低越好
模型与提示Sarvam Token Factory(秒)Together(秒)Fireworks(秒)DeepInfra(秒)
GLM 5.3,1K token 提示0.680.820.842.17
GLM 5.3,10K token 提示1.191.191.572.18
DeepSeek V4.1 Flash,1K token 提示0.510.611.011.08
DeepSeek V4.1 Flash,10K token 提示0.900.711.551.75

我们将我们的技术栈与上游 vLLM 和 Dynamo(不含我们的改动)在 GLM 5.3 Flash 上进行了对比,两个技术栈均在同一批 B200 节点上采用分离式部署,并与 InferenceX 在 Kimi K3.1 Pro 上公布的结果进行了对比。

在 GLM 5.3 Flash 上,于同样的两个 B200 节点上运行 SemiAnalysis 的 AgentX 编码智能体轨迹时,我们的技术栈返回首 token 的速度比原生 vLLM 和 Dynamo 快至多 2.1 倍,同时每 GPU 吞吐量相同。在 64 个并发会话下,首 token 中位耗时为 667 毫秒,而对比组为 1,428 毫秒;最慢的 1% 等待 3.2 秒,而对比组为 14.1 秒。两个技术栈每用户的流式输出速度大致相同,因为增益来自预填充,而非解码。

在相同每 GPU token 数下,GLM 5.3 Flash 的回答速度快至多 2.1 倍

Sarvam 优化技术栈原生开源技术栈

1,428 毫秒 → 667 毫秒

64 个会话下的首 token 中位数,快 2.1 倍

14.1 秒 → 3.2 秒

64 个会话下最慢 1% 的首 token(p99),快 4.4 倍

190 → 192 tok/s

64 个会话下每用户输出速度中位数

两个技术栈使用相同的 AgentX 编码智能体基准和相同的测试拓扑。原生开源技术栈使用 vLLM 0.31.0、Dynamo 1.6.0、NIXL 1.4.1 和 Mooncake 0.3.13 测量,并与 Sarvam 的优化技术栈对比。

在相同每 GPU token 数下,GLM 5.3 Flash 的回答速度快至多 2.1 倍。Sarvam 优化技术栈在 1 个会话下:首 token 中位数 699 毫秒,p99 2.3 秒,每 GPU 每秒 1,097 token,每用户 248。Sarvam 优化技术栈在 4 个会话下:首 token 中位数 503 毫秒,p99 1.7 秒,每 GPU 每秒 1,131 token,每用户 234。Sarvam 优化技术栈在 16 个会话下:首 token 中位数 551 毫秒,p99 2.7 秒,每 GPU 每秒 1,725 token,每用户 229。Sarvam 优化技术栈在 32 个会话下:首 token 中位数 646 毫秒,p99 2.2 秒,每 GPU 每秒 6,455 token,每用户 220。Sarvam 优化技术栈在 64 个会话下:首 token 中位数 667 毫秒,p99 3.2 秒,每 GPU 每秒 10,768 token,每用户 192。原生开源技术栈在 1 个会话下:首 token 中位数 1,043 毫秒,p99 3.8 秒,每 GPU 每秒 1,038 token,每用户 241。原生开源技术栈在 4 个会话下:首 token 中位数 912 毫秒,p99 9.7 秒,每 GPU 每秒 1,087 token,每用户 232。原生开源技术栈在 16 个会话下:首 token 中位数 959 毫秒,p99 4.2 秒,每 GPU 每秒 1,692 token,每用户 227。原生开源技术栈在 32 个会话下:首 token 中位数 1,168 毫秒,p99 14.2 秒,每 GPU 每秒 6,370 token,每用户 215。原生开源技术栈在 64 个会话下:首 token 中位数 1,428 毫秒,p99 14.1 秒,每 GPU 每秒 10,193 token,每用户 190。

在相同每 GPU token 数下,GLM 5.3 Flash 的回答速度快至多 2.1 倍
技术栈会话数首 token p50(毫秒)首 token p99(秒)每 GPU token 数(tok/s)每用户输出(tok/s)
Sarvam 优化技术栈16992.31,097248
Sarvam 优化技术栈45031.71,131234
Sarvam 优化技术栈165512.71,725229
Sarvam 优化技术栈326462.26,455220
Sarvam 优化技术栈646673.210,768192
原生开源技术栈11,0433.81,038241
原生开源技术栈49129.71,087232
原生开源技术栈169594.21,692227
原生开源技术栈321,16814.26,370215
原生开源技术栈641,42814.110,193190

在 SemiAnalysis 的智能体轨迹上,在 14 至 48 个并发会话范围内,我们在相同每用户速度下每 GPU 服务的 token 数最多达到 InferenceX 的 1.9 倍,对比的是其公布的 Kimi K3.1 Pro 结果。

在相同每用户速度下,Kimi K3.1 Pro 每 GPU 服务的 token 数达到 1.9 倍

Sarvam 推理技术栈InferenceX 技术栈

1.9 倍吞吐量

相同每用户速度:每用户 70 tok/s(中位数),我们的 c24 对比 InferenceX 曲线

9.1K → 13.4K tok/s

每 GPU 峰值 token 数,各曲线上的最佳点(1.5 倍)

Kimi K3.1 Pro 在 16 块 B200 上,AgentX 编码智能体轨迹。标签为并发会话数。InferenceX 数据为其公布的 B200 vLLM 结果,在 96 个会话下未使用推测解码运行。

在相同的每用户速度下,Kimi K3.1 Pro 每 GPU 服务的 token 数是 1.9 倍。Sarvam 推理栈在 1 个会话时:每 GPU 每秒 667 个 token,每用户每秒 112.2 个 token。Sarvam 推理栈在 4 个会话时:每 GPU 每秒 1,282 个 token,每用户每秒 91.2 个 token。Sarvam 推理栈在 8 个会话时:每 GPU 每秒 2,189 个 token,每用户每秒 86.1 个 token。Sarvam 推理栈在 14 个会话时:每 GPU 每秒 3,411 个 token,每用户每秒 83.3 个 token。Sarvam 推理栈在 24 个会话时:每 GPU 每秒 6,177 个 token,每用户每秒 69.5 个 token。Sarvam 推理栈在 48 个会话时:每 GPU 每秒 10,909 个 token,每用户每秒 48.1 个 token。Sarvam 推理栈在 72 个会话时:每 GPU 每秒 12,807 个 token,每用户每秒 31.2 个 token。Sarvam 推理栈在 96 个会话时:每 GPU 每秒 13,387 个 token,每用户每秒 21.9 个 token。InferenceX 栈在 1 个会话时:每 GPU 每秒 711 个 token,每用户每秒 164.5 个 token。InferenceX 栈在 4 个会话时:每 GPU 每秒 1,437 个 token,每用户每秒 107.2 个 token。InferenceX 栈在 8 个会话时:每 GPU 每秒 2,271 个 token,每用户每秒 84.0 个 token。InferenceX 栈在 14 个会话时:每 GPU 每秒 3,472 个 token,每用户每秒 65.4 个 token。InferenceX 栈在 24 个会话时:每 GPU 每秒 6,106 个 token,每用户每秒 51.5 个 token。InferenceX 栈在 48 个会话时:每 GPU 每秒 9,066 个 token,每用户每秒 32.8 个 token。InferenceX 栈在 72 个会话时:每 GPU 每秒 4,523 个 token,每用户每秒 7.1 个 token。InferenceX 栈在 96 个会话时:每 GPU 每秒 6,244 个 token,每用户每秒 8.0 个 token。在每用户每秒 70 个 token 时,我们的方案每 GPU 每秒服务 6,177 个 token,而 InferenceX 曲线上为 3,213 个。

在相同的每用户速度下,Kimi K3.1 Pro 每 GPU 服务的 token 数是 1.9 倍
栈会话数每用户输出中位数(tok/s)每 GPU token 数(tok/s)
Sarvam 推理栈1112.2667
Sarvam 推理栈491.21,282
Sarvam 推理栈886.12,189
Sarvam 推理栈1483.33,411
Sarvam 推理栈2469.56,177
Sarvam 推理栈4848.110,909
Sarvam 推理栈7231.212,807
Sarvam 推理栈9621.913,387
InferenceX 栈1164.5711
InferenceX 栈4107.21,437
InferenceX 栈884.02,271
InferenceX 栈1465.43,472
InferenceX 栈2451.56,106
InferenceX 栈4832.89,066
InferenceX 栈727.14,523
InferenceX 栈968.06,244

在 72 个并发会话时,InferenceX 的 KV 缓存占用达到 89%,并开始驱逐前缀。这些前缀会被重新预填充,p95 TTFT 攀升至 77 秒。我们采用 Moonshot 的 Mooncake(G3),这是一个共享缓存,可让前缀在多个预填充服务器之间保持存活,而不是将其驱逐。结合按引擎设置的会话上限,在相同负载下 p95 TTFT 保持在 3.1 秒。

在智能体高负载下,共享缓存使首 token 时间保持稳定

72 个并发会话

中位数(p50)

最慢 5%(p95)

96 个并发会话

中位数(p50)

最慢 5%(p95)

12.8K 对 4.5K

72 个会话,每 GPU tok/s,Sarvam 对 InferenceX

13.4K 对 6.2K

96 个会话,每 GPU tok/s,Sarvam 对 InferenceX

Kimi K3.1 Pro 运行在 16 块 B200 上,使用 AgentX 编码智能体轨迹。InferenceX 在 96 个会话时关闭推测解码以释放其 KV 缓存。G3 保留了我们被驱逐的前缀,因此我们的推测解码保持开启。

在智能体高负载下,共享缓存使首 token 时间保持稳定。72 个会话(双方均开启推测解码;其 KV 缓存占用 89%):首 token 中位数 Sarvam 0.8 秒,InferenceX 11.6 秒;第 95 百分位 Sarvam 3.1 秒,InferenceX 76.6 秒;吞吐量 12.8K 对 4.5K 每 GPU 每秒 token 数。96 个会话(InferenceX 关闭推测解码):首 token 中位数 Sarvam 1.1 秒,InferenceX 0.9 秒;第 95 百分位 Sarvam 9.3 秒,InferenceX 18.8 秒;吞吐量 13.4K 对 6.2K 每 GPU 每秒 token 数。

在智能体高负载下,共享缓存使首 token 时间保持稳定
会话数条件Sarvam p50(秒)InferenceX p50(秒)Sarvam p95(秒)InferenceX p95(秒)每 GPU token 数,Sarvam 对 InferenceX
72双方均开启推测解码;其 KV 缓存占用 89%0.7911.583.1376.6212.8K 对 4.5K
96InferenceX 关闭推测解码1.080.879.2918.8313.4K 对 6.2K

技术深度解析

分离式架构、推测解码、量化和前缀缓存都是成熟的技术。每个新模型都会检验其实现背后的假设,从内核正确性和注意力状态存储,到真实流量下的调度。每个问题都会影响速度、成本或正确性。这些问题需要在模型发布后数小时内被发现并修复。

我们的工作横跨三个层面:

  • 推理引擎决定 GPU 将请求转化为 token 的效率。
  • 缓存决定有多少工作只需执行一次。
  • 控制平面决定每个请求分配给哪块 GPU、何时分配,以及该 GPU 内存中已有什么。

Token Factory:围绕共享缓存的三个层面

请求

控制平面

缓存感知路由器

将每一轮发送到其提示所在的位置

准入控制

仅统计未缓存的 token

规划器

根据拒绝和背压进行扩缩容

推理引擎

预填充池

一次读取整个提示

调优的全互联、MXFP8 和 NVFP4

解码池

一次生成一个 token

融合 clamp 内核、后缀树草稿

共享缓存

GPU 内存

保存提示约 4 秒

负载下约 2 秒

G3 共享存储(Mooncake)

由每个预填充服务器读取

根据流量情况将提示保存数小时或数天

控制平面负责路由、准入和扩缩容。预填充和解码运行在独立的 GPU 池上,并在对齐的检查点交接 KV 和模型状态。每个预填充服务器都读取共享的 G3 存储,该存储保存提示的时间远长于 GPU 内存。

Token Factory:围绕共享缓存的三个层面。请求进入控制平面:缓存感知路由器:将每一轮发送到其提示所在的位置;准入控制:仅统计未缓存的 token;规划器:根据拒绝和背压进行扩缩容。路由器将工作发送到推理引擎的预填充池:一次读取整个提示;调优的全互联、MXFP8 和 NVFP4,在对齐的检查点将 KV 和模型状态传递给解码池:一次生成一个 token;融合 clamp 内核、后缀树草稿。规划器对解码池进行扩缩容。预填充池读取两级缓存:GPU 内存:保存提示约 4 秒;负载下约 2 秒;G3 共享存储(Mooncake):由每个预填充服务器读取;根据流量情况将提示保存数小时或数天。

Token Factory:围绕共享缓存的三个层面
组件层面功能
缓存感知路由器控制平面将每一轮发送到其提示所在的位置
准入控制控制平面仅统计未缓存的 token
规划器控制平面根据拒绝和背压进行扩缩容
预填充池推理引擎一次读取整个提示;调优的全互联、MXFP8 和 NVFP4
解码池推理引擎一次生成一个 token;融合 clamp 内核、后缀树草稿
GPU 内存共享缓存保存提示约 4 秒;负载下约 2 秒
G3 共享存储(Mooncake)共享缓存由每个预填充服务器读取;根据流量情况将提示保存数小时或数天

长智能体会话需要将预填充和解码放在不同的 GPU 上

每个请求都要经过两个阶段。预填充在一次计算密集的遍历中读取整个提示,随后解码一次生成一个 token,受内存带宽限制。当两者共享一块 GPU 时,每个新的 100K token 编码提示都会让该 GPU 上所有正在解码的会话停滞。我们将这两个阶段运行在独立的池上,各自针对自身的工作进行配置,并在 KV 传输层中除 InfiniBand 外新增了 EFA 支持,使这种拆分能在我们所有集群上运行。

拆分预填充和解码如今已是标准做法。进一步的收益取决于在 GPU 之间正确传输缓存、注意力状态和草稿模型状态。我们将实时语音工作负载保留在同一块 GPU 上,而不采用分离式架构,因为它们的输入 token 较短。

跨模型的核函数调优有助于同时解决正确性和性能问题

GLM 5.3 Flash 将专家激活值钳制在固定范围内。vLLM 的融合解码内核跳过了这一步,导致与参考实现偏差高达 165%,并在代码缩进处出现乱码字符。我们将钳制、激活、乘法和量化融合到一个内核中。它在范围内输入上与参考实现逐位一致,运行速度约快 40%。在 AgentX 上,缺失的钳制表现为 299 条长代码响应中有 32 条出现乱码中文字符。加入钳制后,一条都没有。

另外两个 bug 导致从第一个 token 起就输出乱码。初始化索引器缓存的内核缺少位置输入,因此请求尾部写入同一个缓存块并相互竞争。被拒绝的草稿 token 也可能覆盖已提交的键。修复这两处后,我们的测试台不再返回乱码输出,草稿接受率从 38% 升至 84%,在提升正确性的同时也提高了速度。在 GLM 5.3 Flash 上,我们将预填充延迟追溯到 GPU 之间的全互联交换。vLLM 为此交换分配 20 个 GPU 计算单元。将其增加到 64:96 并调整块大小后,在 90% 缓存命中率下,首 token 中位时间从 28.7 秒降至 4.7 秒。再加上两处内核改动,未缓存预填充吞吐量从每 GPU 约 14K 提升至 22K token 每秒。

在 DeepSeek V4.1 Flash 1017 上,DeepGEMM 的 MegaMoE 内核在 128 个并发会话下将解码吞吐量提升了 28%。升级到 vLLM v0.32 后,在 84% 缓存命中率下测得,未缓存预填充吞吐量从每 GPU 约 19K 提升至 41K token 每秒。

转向 MXFP8

在每种格式上线前,我们都会在自己的流量上对其进行端到端测量。GLM 5.3 从 SGLang 上的 FP8 权重迁移到 vLLM 上的 MXFP8 权重。MXFP8 是一种 8 位格式,每 32 个值共享一个缩放因子,B200 的张量核心原生支持它。每 GPU 未缓存预填充翻倍,从约 3.7K 提升至 7.6K token 每秒,解码提升 25%,真实聊天中的 p95 首 token 时间减半,准确率与 FP8 基线相比保持不变。MXFP8 自 10 月中旬起已在生产环境中服务 GLM 5.3。

在 vLLM 上将 GLM 5.3 迁移到 MXFP8 使每 GPU 未缓存预填充翻倍

未缓存预填充

2.1×

解码

+25%

真实聊天,TTFT p95

降低 2.1 倍

GLM 5.3 在 SGLang 上使用 FP8 权重与在 vLLM 上使用 MXFP8 权重的对比,在相同节点(1 个预填充 + 1 个解码,16 块 B200)和相同测试下进行。

在 vLLM 上将 GLM 5.3 迁移到 MXFP8 使每 GPU 未缓存预填充翻倍。未缓存预填充:SGLang FP8 为每 GPU 每秒 3,700 个输入 token,vLLM MXFP8 为 7,600。解码:SGLang FP8 为每秒 5,226 个输出 token,vLLM MXFP8 为 6,519。真实聊天 p95 首 token 时间:SGLang FP8 为 19.6 秒,vLLM MXFP8 为 9.2 秒。

在 vLLM 上将 GLM 5.3 迁移到 MXFP8 使每 GPU 未缓存预填充翻倍
指标SGLang FP8vLLM MXFP8
未缓存预填充(每 GPU 每秒输入 token 数)3,7007,600
解码(每秒输出 token 数)5,2266,519
真实聊天,p95 首 token 时间(秒)19.69.2

多级缓存,实现智能体多轮之间的上下文复用

GLM 5.3 上的智能体提示平均为 131K token。工具调用后,智能体会在数十秒或数分钟后带着几乎相同的提示返回。GPU 内存仅保留该上下文约 4 秒,负载下降至 2 秒。几乎每个返回的轮次都需要完整预填充,重复计算并增加延迟。我们为每个预填充服务器添加了 G3 以保留上下文,使智能体返回时可以复用。

在生产环境中运行一周后,在 DeepSeek 上,综合缓存命中率从 91.4% 升至 95.7%,需要预填充的 token 减半。在 GLM 5.3 的流量高峰期,G3 将所需预填充节点从 58 个减少到 34 个。

生产环境中提示 token 的供给来源

按供给来源划分的提示 token 占比

GPU 缓存G3重新计算
生产环境预填充计数器,统计周期为10月30日至11月6日,共七天。预填充计算量随未能命中任何缓存的提示词元占比而增长,因此将DeepSeek V4.1 Flash的缓存命中率从91.4%提升至95.7%后,其预填充计算量减半。

生产环境中提示词元的供给来源。DeepSeek V4.1 Flash,872B提示词元:91.4%来自GPU缓存,4.3%来自G3,4.3%重新计算。GLM 5.3,164B提示词元:88.6%来自GPU缓存,3.4%来自G3,8.1%重新计算。

生产环境中提示词元的供给来源
模型提示词元GPU缓存(%)G3(%)重新计算(%)
DeepSeek V4.1 Flash872B提示词元91.44.34.3
GLM 5.3164B提示词元88.63.48.1

使多级缓存与新注意力架构对齐

在DeepSeek V4.1 Flash 1017上,滑动窗口缓存的查找与写入使用了不同的位置,导致74%的提示长度无法命中G3。上下文虽已缓存却无法被找到,于是GPU再次处理了它。我们对齐了位置,将冷缓存命中率从37.1%提升至99.8%,并将延迟从2.80秒降至0.64秒,且未增加额外存储。对于其他混合模型,我们在每个轮次边界将滑动窗口状态同时保存到GPU内存和G3中。这使无可复用上下文的返回对话占比从78%降至8.5%。

DeepSeek V4.1 Flash:哪些提示长度命中了缓存

未命中:完整重新预填充命中修复后命中

37.1% → 提升至99.8%

G3冷命中率

2.80秒 → 降至0.64秒

延迟

1,878字节/词元

存储成本,与GPU缓存相同,无额外块

未修复

上游:GPU缓存修复 #57613 仍处于开启状态,且在每个边界额外存储一个块

DeepSeek V4.1 Flash的缓存命中取五个KV组中的最小值,因此只要有一个滑动窗口组缺失,就会强制进行完整重新预填充,而请求仍会返回成功。查找和存储对滑动窗口KV使用了不同的锚点;我们将两者锚定在同一规则上。每个单元格代表提示长度对128取模的一个值。

DeepSeek V4.1 Flash:哪些提示长度命中了缓存。每个单元格代表提示长度对128取模的一个值。GPU缓存,修复前,在余数1至32处未命中:25%的长度未命中。G3存储,修复前,在余数33至127处未命中:74.2%的长度未命中。两者,修复后,每个余数均命中:0%未命中。G3冷命中率从37.1%升至99.8%。延迟从2.80秒降至0.64秒。存储成本为每词元1,878字节,与GPU缓存相同。上游:未修复。

DeepSeek V4.1 Flash:哪些提示长度命中了缓存
缓存未命中的余数未命中的长度占比
GPU缓存,修复前1至3225%
G3存储,修复前33至12774.2%
两者,修复后无0%

使控制平面具备缓存感知能力

Dynamo的路由器会考虑缓存在GPU、主机内存和磁盘上的上下文,但在使用vLLM和G3时,它漏掉了共享的Mooncake缓存命中,并将已缓存的词元计为新的预填充工作。准入限制也计入了这些词元,且按前端分别计算,在一次缓存密集的测试中拒绝了1,400个请求中的1,381个,而GPU大多处于空闲状态。规划器无法看到这些拒绝,因此短队列掩盖了未满足的需求。我们更新了路由,以考虑G3命中和拥塞情况,在上下文复用与容量之间取得平衡。准入现在仅统计未缓存的词元,并在各前端之间使用统一的共享在途限制,同一测试得以完成且无拒绝。

路由器缓存命中统计与工具调用语法,修复前后

发送到错误工作节点的请求

17.6% → 降至3.5%

首词元时间,p95

24秒 → 降至9秒

工具调用以原始文本形式泄漏

7.7% → 降至0.08%

路由器数据基于128个并发会话。工具调用泄漏指DeepSeek V4.1 Flash调用以原始DSML文本形式返回,基于31个重放的生产对话测得。

路由器缓存命中统计与工具调用语法,修复前后。在128个并发会话下,发送到错误工作节点的请求从原始统计的17.6%降至修复后的3.5%,p95首词元时间从24秒降至9秒。DeepSeek V4.1 Flash工具调用以原始文本形式泄漏的比例从无语法时的7.7%降至使用DSML语法时的0.08%。

路由器缓存命中统计与工具调用语法,修复前后
指标修复前修复后
发送到错误工作节点的请求(原始统计对比修复后)17.6%3.5%
首词元时间,p95(原始统计对比修复后)24秒9秒
工具调用以原始文本形式泄漏(无语法对比DSML语法)7.7%0.08%

原始规划器与我们的规划器在相同重放负载下的对比

预填充GPU小时数,从负载开始起104分钟

减少47%

最差分钟,p95首词元时间

在SLA范围内

1,050 对比 1,054

完成的请求数

78.5%

两次运行中的缓存命中率

0.3 → 0.5 → 1

30分钟爬坡期间的每秒请求数

40(约4%)

在峰值时被我们短暂拒绝

相同的合成智能体负载,在同一个生产GLM 5.3部署上分别用两种规划器重放。我们的规划器使用的预填充GPU小时数减少了47%,并将p95首词元时间保持在10秒SLA之内。

原始规划器与我们的规划器在相同重放负载下的对比。104分钟内的预填充GPU小时数:原始规划器32.3,我们的规划器17.1。最差分钟p95首词元时间:原始规划器19.7秒,我们的规划器9.96秒,对照10秒SLA。两次运行:分别完成1,050和1,054个请求,两次运行的缓存命中率均为78.5%,负载在30分钟内以每秒0.3、0.5、1个请求的速率爬坡;峰值时40个(约4%)被我们短暂拒绝。时间线,原始规划器:约1分钟,第2个Pod忙碌度2%;约21分钟,p95为19.7秒,第3个Pod忙碌度9%;约105分钟,仍为2个Pod。我们的规划器:约20分钟,40个请求收到529;约23分钟,第2个Pod开始服务;约47分钟,恢复为1个Pod。

原始规划器与我们的规划器在相同重放负载下的对比
指标原始规划器我们的规划器
预填充GPU小时数,104分钟32.317.1
最差分钟p95首词元时间(秒)19.79.96
原始规划器事件:第2个Pod忙碌度2%(分钟)1
原始规划器事件:p95为19.7秒,第3个Pod忙碌度9%(分钟)21
原始规划器事件:仍为2个Pod(分钟)105
我们的规划器事件:40个请求收到529(分钟)20
我们的规划器事件:第2个Pod开始服务(分钟)23
我们的规划器事件:回到 1 个 Pod(最小值)47

新架构携带的状态在 GPU 之间的交接中被丢弃了

分离式服务在预填充到解码的交接中丢弃了模型特定的状态。传输代码假定使用标准的注意力 KV 缓存。

Kimi K3.1 Pro 和 GLM 5.3 Flash 的草稿模型都携带额外状态,而这些状态未能完整到达解码 GPU。

在 Kimi K3.1 Pro 上,预填充 GPU、路由器和解码 GPU 各自使用不同的检查点位置。将它们对齐后,多轮缓存命中率从 39% 提升到 73%。

在 GLM 5.3 Flash 上,草稿模型的缓存只有一部分被传输,因此每步接受的草稿 token 从约 5 个降至 1 个。让两个 GPU 上的缓存布局保持一致后,接受率恢复到 4.7。

对齐状态检查点避免了交接过程中的工作丢失

之前

检查点位于不同位置;不匹配的(空心)会丢失状态

之后

三者都将检查点放在相同的 7,680 token 边界上

Kimi K3.1 Pro,多轮对话

39% → 提升至 73%

GLM 5.3 Flash 草稿模型,每步接受的 token 数

4.92 → 降至 1.05 → 回升至 4.69

当预填充和解码在独立的 GPU 上运行时,预填充阶段构建的状态必须完整到达解码阶段。Kimi K3.1 Pro 的线性注意力层和 GLM 5.3 Flash 草稿模型携带了普通注意力缓存之外的状态。对齐检查点位置后,Kimi K3.1 Pro 的多轮缓存命中率从 39% 提升到 73%。让两侧的草稿缓存布局保持一致后,GLM 5.3 Flash 的接受率恢复到每步 4.69 个 token。

对齐状态检查点避免了交接过程中的工作丢失。之前:预填充 GPU、路由器和解码 GPU 将状态检查点放在不同位置,因此只有首尾两处对齐,其余都会丢失状态。之后:三者都将检查点放在相同的 7,680 token 边界上。Kimi K3.1 Pro 多轮前缀缓存命中率:未对齐时 39%,对齐后 73%。GLM 5.3 Flash 草稿模型每步接受的 token 数:拆分前 4.92,拆分且未对齐时 1.05,对齐后 4.69。

对齐状态检查点避免了交接过程中的工作丢失
指标拆分前未对齐已对齐
Kimi K3.1 Pro 多轮前缀缓存命中率(%)3973
GLM 5.3 Flash 草稿模型,每步接受的 token 数4.921.054.69

整合所有优化,更高效地服务 Sarvam 105B

对于 Sarvam 105B,我们同时掌控权重和推理引擎,因此可以针对所服务的负载对二者进行联合优化。大部分流量来自智能体,它们具有较长的系统提示、由工具结果不断增长的上下文以及简短回复。从 BF16 权重迁移到 MXFP8 权重并配合 DSpark 投机解码后,输出吞吐量提升了约 2.2 倍,同时每个副本从两台 B200 减少到一台。我们还修复了一个 vLLM 缺陷:该缺陷会在热缓存重启后跳过 CUDA 图,导致 GPU 利用率停留在 38%。四项内核和精度改动在智能体负载上为每块 GPU 额外增加了 30% 的输出。这些改动包括基于真实 MoE 输入校准的 4 位 NVFP4 专家,以及为 105B 的 64 个注意力头定制的 Triton 内核,取代了假定 128 个头的 FlashInfer 内核。当智能体会话超出 GPU 缓存容量时,G3 将吞吐量提升了 2.21 倍,并将需要重新计算的提示 token 占比从 56.8% 降至 17.6%。这些改动均未降低准确率。

Sarvam 105B:按优化步骤累计的加速比

B200 上的 vLLM 0.32。第一到第三步以两台 B200 上的 BF16 基线为基准测量,其余步骤在智能体流量上以单台 B200 的 MXFP8 配置为基准测量。引擎内核步骤在解码步骤上测量。

Sarvam 105B:按优化步骤累计的加速比。BF16 基线(2× B200):相对 BF16 基线的累计加速比为 1.00×。引擎内核(编译后的 MLA):相对 BF16 基线的累计加速比为 1.73×。torch.compile + CUDA 图(模型团队):相对 BF16 基线的累计加速比为 2.20×。NVFP4 专家:累计加速比为 2.42×,在智能体流量上较上一步提升 9.8%。Triton K-concat(用于 MLA):累计加速比为 2.59×,在智能体流量上较上一步提升 7.2%。FP8 预填充注意力(TRT-LLM ragged):累计加速比为 2.76×,在智能体流量上较上一步提升 6.7%。融合 FP8 K/V:累计加速比为 2.86×,在智能体流量上较上一步提升 3.6%。最后四步是在 2.20× 的基础上叠加的。

Sarvam 105B:按优化步骤累计的加速比
步骤累计加速比较上一步的提升
BF16 基线(2× B200)1.00×
引擎内核(编译后的 MLA)1.73×
torch.compile + CUDA 图(模型团队)2.20×
NVFP4 专家2.42×+9.8%
Triton K-concat(用于 MLA)2.59×+7.2%
FP8 预填充注意力(TRT-LLM ragged)2.76×+6.7%
融合 FP8 K/V2.86×+3.6%

Kimi K3.1 Pro 展示了我们能多快地优化一个并非由我们训练的模型。 Kimi K3.1 Pro 占用 1,454 GiB,使用流水线并行跨两个节点运行。我们从 InferenceX 的 B200 配方所使用的 v0.32 之前的 vLLM 每夜构建版本开始。在我们的 EFA 集群上,两个流水线阶段在预热期间发生死锁。我们通过在预热前连接各阶段,并让两者使用相同的预热批次,解决了这个问题。性能分析显示,GPU 在每个解码步骤中有 92–97% 的时间处于忙碌状态。专家 GEMM 占比最大;稀疏注意力占比不到 4%。要进一步获得收益,需要减少每步的工作量。

专家和通信占据了 Kimi K3.1 Pro 解码步骤的一半以上

第一个流水线阶段(52 层)、8 块 GPU、160 个并发会话上 241 个解码步骤的中位数:每步 31.7 毫秒。GPU 在该时间窗口内有 92% 到 94% 的时间处于忙碌状态(第二个阶段为 95% 到 97%),因此收益来自减少工作量。占比为该阶段 GPU 内核总时间的份额。在稀疏注意力下,注意力占比不到 4%。

专家和通信占据了 Kimi K3.1 Pro 解码步骤的一半以上。一个 31.7 毫秒的解码步骤中,GPU 内核时间占比:专家 GEMM(MXFP4 权重)31.9%;通信(张量并行 + 流水线并行)24.1%;稠密 GEMM(MXFP8)17.3%;专家路由 5.1%;线性注意力(KDA)4.1%;注意力(门控稀疏(DSA)+ DCP)3.8%;其他所有项(归一化、复制、采样、其他 GEMM)13.7%。

专家和通信占据了 Kimi K3.1 Pro 解码步骤的一半以上
内核组详情GPU 时间占比(%)
专家 GEMMMXFP4 权重31.9
通信张量并行 + 流水线并行24.1
稠密 GEMMMXFP817.3
专家路由5.1
线性注意力KDA4.1
注意力门控稀疏(DSA)+ DCP3.8
其他所有项归一化、复制、采样、其他 GEMM13.7

每一项改动都经过测量:我们保留了六项带来收益的改动

每一项改动都在 Kimi K3.1 Pro 运行所用的解码栈上单独测量:一个解码部署、两个节点、流水线并行。

每一项改动都经过测量:我们保留了六项带来收益的改动。保留项:推测期间的一次线性注意力状态复制 +22%;CUDA 图尺寸 320、384、448 +16.7%;在 MoE 路由中跳过 CUDA 图填充行 +12.7%;跨两个节点的不均匀流水线切分 +9.8%;使用 3 个而非 4 个草稿 token 的 DSpark +6.2%;解码时对 BF16 线性层使用 MXFP8 +6%。持平、未保留:将最后阶段的草稿与下一步重叠持平;专家负载均衡(EPLB)持平。

每一项改动都经过测量:我们保留了六项带来收益的改动
测试的改动测量内容测量变化(%)结果
推测期间的一次线性注意力状态复制KV 使用率 40% 而非 99%+22%保留
CUDA 图尺寸 320、384、448不再将 352 请求的步骤填充到 512+16.7%保留
在 MoE 路由中跳过 CUDA 图填充行256 个会话时每用户+12.7%保留
跨两个节点的不均匀流水线切分吞吐量+9.8%保留
使用 3 个而非 4 个草稿 token 的 DSpark320 个会话时+6.2%保留
解码时对 BF16 线性层使用 MXFP8真实代码上每用户,释放 7.7 GiB+6%保留
将最后阶段的草稿与下一步重叠修复其 NCCL 死锁后持平持平持平、未保留
专家负载均衡(EPLB)负载已均衡在 0.96 到 0.98持平持平、未保留

智能体探索搜索空间,工程师做决定

每一种新的注意力变体、架构和工作负载都会增加更多需要测试的配置。一个编排智能体读取集群遥测数据,并将实验分配给在不同栈层工作的子智能体。他们使用性能分析器、在我们服务器上校准的模拟器以及我们的评估套件来测试每一项改动。模拟会在实时 A/B 测试之前过滤掉大多数候选方案。每一项改动在部署前都由工程师批准。这让我们能在数天内为每个模型运行数十项实验,而无需工程师手动设置每一项。我们基于 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 背后团队的工作进行构建。

可用性

Sarvam Token Factory 今日起向开发者和企业开放。我们将继续扩展可用模型,从第一天起支持新的开放权重模型,并随着需求增长增加算力。我们还在构建更多工具,供开发者在 Token Factory 上构建和部署智能体。

我们已为关键机构本地运行这套栈,并向企业提供相同的部署选项。团队可以选择适合其工作负载的模型,构建自己拥有的 AI 栈,而不会被锁定。

公告产品2026 年 11 月 7 日