推出 Sarvam-105B-17112026年11月22日·阅读时长18分钟

今天,我们发布 Sarvam 105B 的新开放权重检查点 Sarvam-105B-1711。该模型使用升级后的 B200 基础设施训练,是一款专为客服、语音智能体和智能体任务等高吞吐量工作打造的 Flash-Lite 模型。 与我们今年2月发布的版本相比,它在长对话中能更可靠地遵循指令、更准确地调用工具,并显著提升了印度语言处理能力;其在八项会话智能体基准测试中的平均得分从42.6升至74.5。我们的推理优化还将混合价格降低了三分之二,从每百万 token 0.44美元降至0.15美元。模型权重已在 Hugging Face 上发布,包括 BF16 以及一个 65 GB 的 NVFP4 版本 ,后者可在单张工作站 GPU 上运行。

  • 它的表现与 Gemini 3.5 Flash-Lite 和 Gemma 4 31B 相当,而价格仅为它们的一小部分。 在八项会话智能体基准测试中,Sarvam-105B-1711 的平均得分为73.9,混合价格为每百万 token 0.15美元。Gemini 3.5 Flash-Lite 的平均得分为74.0,价格为0.85美元,是其五倍以上;表现最强的其他开放模型 Gemma 4 31B 平均得分为73.0,价格为0.54美元,是其三倍以上。
  • 自2月以来,提升最大的是会话智能体技能。 在 IFBench 上,指令遵循得分从32.5升至82.5;在 Tau2 上,客服对话中的工具使用得分从46.2升至85.5;在我们的印度语言套件上,印度语言表现从30.1升至79.1。它也是我们在 Tau2 上测试过的稳定性最高的模型:在四次尝试中均正确完成客服任务的比例为69.5%,相比之下,Gemini 3.5 Flash-Lite 为63.9%,Gemma 4 31B 为62.1%。
  • 该模型在企业应用中的真实任务上表现出色。 我们的语音微调版本为 Samvaad 提供支持,在 Samvaad 基准测试中得分68.7(已在 HF 上发布),高于基础检查点的57.9,也领先于 Gemma 4 31B。采用 NVFP4 格式时,该模型可装入单张 RTX PRO 6000 Blackwell GPU,并达到每位用户每秒99个 token,因此银行、政府部门和战略行业可以在本地运行它。
  • 在 Blackwell 上,训练和服务吞吐量大致翻了一番。 通过采用8位精度训练,我们将每张 GPU 的预训练吞吐量从每秒5,500个 token 提升至10,900个,超过 NVIDIA 针对同类模型给出的参考数据,因此同一集群现在可以训练两倍数量的 token。在强化学习中,使用推测解码加快生成速度后,每个训练步骤的耗时从约13分钟缩短至约7分钟,奖励没有下降。在服务方面,该模型的4位版本在64位并发用户下,每张 B200 每秒可生成约6,000个 token,吞吐量是我们此前配置的两倍,也是 Gemma 4 31B 的两倍,从而使我们的单 token 成本大致减半。
  • 这套技术栈已为训练更大规模的模型做好准备。 我们使用512张 GPU 进行了长上下文训练,在略多于七天的时间里处理了3300亿个 token,将模型的上下文扩展至160K tokens。我们还掌握了如何针对 OpenAI GDPval 基准测试中的各类真实工作任务开展强化学习,例如让模型使用工具并在沙盒中运行代码,从采购订单电子表格中汇总一个月的发货情况。随着我们准备为更大模型投入更多训练算力,我们将继续优化面向长周期任务的多工具环境构建方式。

性能

Sarvam-105B-1711 是一款 Flash-Lite 模型。我们将它与同类其他模型进行比较:三个闭源模型(GPT-6 Luna、Gemini 3.5 Flash-Lite 和 Claude Haiku 4.5)以及三个开放模型(Gemma 4 31B、Nemotron 3 Super 和 Mistral Small 4),所有模型均在我们自己的评测环境中运行。Sarvam-105B-1711 的价格不高于其中任何一个。Flash-Lite 模型适用于客服、语音智能体、内部助手、基于检索内容的回答,以及大规模提取和分类任务。

面向会话智能体、能力更强的 Sarvam 105B

印度企业将很大一部分 token 用于聊天场景:每天数百万次运行客服、使用印度语言的语音智能体、内部助手,以及针对公司文档的问答。这里的“聊天”既包括普通对话,也包括模型在多个轮次中调用工具的智能体对话。要出色完成这些任务,模型必须在多轮交互中遵循长系统提示词里的每一项指令,使用正确的参数调用正确的工具,根据检索到的文本作答,并能以印度语言和混合语码语音完成这一切。

我们使用八项基准测试衡量这些技能:用于评估指令遵循能力的 IFBench、MultiChallenge 和 Advanced-IF;用于评估聊天质量的 WritingBench 和 Arena-Hard v2;用于评估工具调用能力的 Tau2 和 BFCL v4;以及用于评估印度语言能力的 Sarvam Indic 套件。图1展示了各模型的平均得分与价格之间的关系。Sarvam-105B-1711(NVFP4 检查点)的平均得分为73.9,每百万 token 价格为0.15美元;相比之下,Gemini 3.5 Flash-Lite 得分74.0,价格为0.85美元;GPT-6 Luna(high)得分66.3,价格为0.20美元;Gemma 4 31B 得分73.0,价格为0.54美元。

会话智能体基准测试平均得分与价格的对比

Sarvam-105B-1711Sarvam-105B(3月版)其他 Flash-Lite 模型
IFBench、MultiChallenge、Advanced-IF、WritingBench(×10)、Arena-Hard v2、Tau2、BFCL v4 和 Sarvam Indic 套件的平均得分,与每百万 token 混合价格的对比。位置越靠左上方越好。图中的 Sarvam-105B-1711 为 NVFP4 版本。

会话智能体基准测试平均得分与价格的对比。Sarvam-105B-1711(NVFP4):73.9,每百万 token 0.15美元。Sarvam-105B(3月版):42.6,每百万 token 0.44美元。Gemini 3.5 Flash-Lite(high):74.0,每百万 token 0.85美元。GPT-6 Luna(high):66.3,每百万 token 0.20美元。Gemma 4 31B:73.0,每百万 token 0.54美元。Nemotron 3 Super:62.2,每百万 token 0.17美元。Mistral Small 4:49.7,每百万 token 0.26美元。Qwen3.8 27B(xhigh):74.6,每百万 token 0.96美元。

会话智能体基准测试平均得分与价格的对比
模型基准测试平均得分混合价格(美元/百万 token)价格来源
Sarvam-105B-1711(NVFP4)73.9$0.15Token Factory ₹10 / ₹25
Sarvam-105B(3月版)42.6$0.44混合价格0.44美元
Gemini 3.5 Flash-Lite(high)74.0$0.85Google 标准价格0.30美元 / 2.50美元
GPT-6 Luna(high)66.3$0.20OpenRouter 0.10美元 / 0.50美元
Gemma 4 31B73.0$0.54Token Factory 标价 ₹35 / ₹90
Nemotron 3 Super62.2$0.17OpenRouter 0.08美元 / 0.45美元
Mistral Small 449.7$0.26OpenRouter 0.15美元 / 0.60美元
Qwen3.8 27B(xhigh)74.6$0.96混合价格0.96美元

在 Flash-Lite 模型中,Sarvam-105B-1711 在 IFEval(96.5)、IFBench(82.5)和 Arena-Hard v2 高难度提示(82.9)上得分最高,其 Tau2 平均得分(85.5)与最佳成绩仅相差0.3分(Qwen3.8 27B 为85.8)。在 Indic 套件上,它取得79.1分,与最佳成绩仅相差不到1分(GPT-6 Luna 为80.9),并大幅领先 Qwen3.8 27B(64.8)、Mistral Small 4(44.3)和 Nemotron 3 Super(39.5)。

重复对话中的一致性。 对于面向客户的智能体,每次都正确完成同一任务,比只正确完成一次更重要。Sarvam-105B-1711 在四次尝试中每次都能解决69.5%的 Tau2 任务,领先 Gemini 3.5 Flash-Lite(63.9)和 Gemma 4 31B(62.1)(图2)。

重复客户任务的一致性(Tau2 pass^4)

pass^4 是指模型在四次相互独立的尝试中全部成功解决的 Tau2 任务(航空、零售、电信)占比,定义见 tau-bench 论文。数值越高,一致性越强。

重复客户任务的一致性(Tau2 pass^4)。Sarvam-105B-1711:69.5。Qwen3.8 27B(xhigh):69.0。Gemini 3.5 Flash-Lite:63.9。Gemma 4 31B:62.1。GPT-6 Luna(high):54.4。Nemotron 3 Super:49.9。Claude Haiku 4.5:38.7。Mistral Small 4:25.5。

重复客户任务的一致性(Tau2 pass^4)
模型Tau2 pass^4
Sarvam-105B-171169.5
Qwen3.8 27B(xhigh)69.0
Gemini 3.5 Flash-Lite63.9
Gemma 4 31B62.1
GPT-6 Luna(high)54.4
Nemotron 3 Super49.9
Claude Haiku 4.538.7
Mistral Small 425.5

搜索、知识与推理任务的表现

除聊天外,我们还评测智能体搜索、协同办公任务、知识和数学能力。在智能体工作方面,Sarvam-105B-1711 在 GDPval-S 上仅次于 Gemini 3.5 Flash-Lite(66.9对73.0);GDPval-S 是由 GPT-6 Luna 评判的 OpenAI GDPval 任务。它还领先于所有其他开放模型(Gemma 4 31B 为61.1、Nemotron 3 Super 为56.8、Mistral Small 4 为49.2)。在我们的内部协同办公任务中,它同样仅次于 Gemini 3.5 Flash-Lite(57.1对61.4),在 BrowseComp 上也与其接近(41.4对42.9)。数学方面,它在不使用工具的 AIME 26 上取得89.7分,领先 Gemini 3.5 Flash-Lite 和所有开放模型;使用工具时得分为94.2。完整结果见表1。

表1:Sarvam-105B-1711 与闭源及开放 Flash-Lite 模型的对比

基准测试Sarvam-105B-1711,每百万 token 0.15美元Nemotron 3 Super,每百万 token 0.17美元GPT-6 Luna(high),每百万 token 0.20美元Mistral Small 4,每百万 token 0.26美元Gemma 4 31B,每百万 token 0.54美元Gemini 3.5 Flash-Lite(high),每百万 token 0.85美元Qwen3.8 27B(xhigh),每百万 token 0.96美元
指令遵循与聊天
IFEval96.590.888.482.394.795.694.0
IFBench82.570.957.341.077.873.579.6
MultiChallenge62.250.856.730.663.664.865.2
Advanced-IF60.942.457.931.460.264.962.1
WritingBench8.658.737.818.557.928.078.66
Arena-Hard v2,高难度提示82.973.459.748.465.768.979.8
Arena-Hard v2,创意写作65.473.766.365.689.390.282.5
Arena-Hard v2,综合76.673.562.254.675.077.280.8
工具调用
Tau2 平均分85.577.577.555.381.183.185.8
Tau2 航空78.078.076.041.582.582.583.0
Tau2 零售79.674.675.771.375.775.079.8
Tau2 电信98.979.880.953.185.191.794.7
Tau3 银行,全部工具19.816.237.43.618.623.750.3
BFCL v4 综合62.455.460.055.068.867.871.6
印度语言
Indic 套件79.139.580.944.378.679.764.8
搜索与协同办公
BrowseComp41.427.966.214.533.242.9‡
GDPval-S66.956.8-49.261.173.0†
内部协同办公57.142.8-33.650.361.4†
知识与推理
MMLU-Pro85.285.187.080.688.188.186.9
GPQA Diamond80.478.986.771.084.385.288.7
HLE,不使用工具12.317.330.69.622.117.930.8*
HLE,使用工具16.318.9-7.819.916.5‡
HMMT 26年2月71.876.485.974.477.364.881.6
HMMT 26年2月,使用工具87.983.1-56.889.487.187.1
AIME 2689.787.693.787.189.083.293.6
AIME 26,使用工具94.289.2-85.095.896.799.2
LiveCodeBench v675.375.585.268.481.973.990.3*
ScrollScroll

* 官方公布。† 在 GDPval-S 的评测运行中,Qwen3.8 27B 有52.6%耗尽了输出 token 预算;在内部协同办公评测运行中,这一比例为50.3%。在其余评测运行中,Qwen3.8 27B 和 Sarvam-105B-1711 在 GDPval-S 上分别取得82.5分和71.5分(n=396),在内部协同办公部分得分上分别为78.2分和61.4分(n=179)。‡ 使用工具的 HLE:Qwen3.8 27B 在68.6%的评测运行中耗尽了每轮8k的输出预算。BrowseComp:在同样的每轮8k限制下,它在48.6%的评测运行中没有返回最终答案。各列按每百万 token 的混合价格排序(输入与输出之比为3:1)。Sarvam-105B-1711 和 Gemma 4 31B:Token Factory 标价(₹10 / ₹25 和 ₹35 / ₹90,按1美元兑₹90计算)。Gemini 3.5 Flash-Lite:Google 标准层级价格(0.30美元 / 2.50美元)。GPT-6 Luna(0.10美元 / 0.50美元)、Nemotron 3 Super(0.08美元 / 0.45美元)、Mistral Small 4(0.15美元 / 0.60美元)和 Qwen3.8 27B(阿里云,0.425美元 / 2.55美元):OpenRouter。

基准测试设置和评测框架详情见 benchmark_config.yaml.

Sarvam-105B-1711 的生产应用

Sarvam 针对企业用例提供多种产品:用于知识工作的 Indus Cowork、用于印度语言语音智能体的 Samvaad、用于听写的 Sarvam Dictate,以及可在单张工作站 GPU 上运行的本地部署智能体。我们在这些产品中分别试用了 Sarvam-105B-1711。

Indus Cowork

在我们的协同办公产品 Indus 中,我们发现该模型能够处理多个专业领域的知识工作,其中包括需要在单轮中调用数十次工具的任务。面对更困难的任务时,它会探索更多方法,也会更频繁地检查自己的工作。

Sarvam-105B-1711 处理四项真实工作任务

其中三项任务来自 GDPval,另一项是多轮实验室运营对话。选择一个职业,即可查看提示、模型运行的每条命令及其生成的文件。

Sarvam-105B-1711 处理四项真实工作任务。实验室运营协调员:通过三轮提示跟踪实验室请求并制作审核演示文稿。行政服务经理:将 PDF 清理日历转化为员工备忘录和 Excel 日程表。医疗秘书:为三家病理实验室制作 Excel 申请表和电子邮件模板。礼宾员:调研纳帕酒庄,并编写一份带有照片的四页 Word 指南。

Sarvam-105B-1711 处理四项真实工作任务
职业任务
实验室运营协调员通过三轮提示跟踪实验室请求并制作审核演示文稿。
行政服务经理将 PDF 清理日历转化为员工备忘录和 Excel 日程表。
医疗秘书为三家病理实验室制作 Excel 申请表和电子邮件模板。
礼宾员调研纳帕酒庄,并编写一份带有照片的四页 Word 指南。

Samvaad 语音智能体

部署在语音应用中的对话智能体需要以低延迟作出响应,同时具备出色的印度语言理解能力,并能在关闭思考模式时调用工具。我们针对语音应用对 Sarvam-105B-1711 进行微调,并将其部署到 Samvaad——我们的企业语音智能体平台,支持 12 种印度语言。该模型能够处理真实对话中的复杂情况:来电者在句子中途切换语言、修改先前提供的细节,或提出含糊不清的请求。它必须保持上下文、询问缺失信息、遵循客户特定指令并选择适当的工具调用,同时自然地作出回应。它还需要解读有瑕疵的转写文本和意外的工具输出。

我们在 Samvaad bench上对此进行衡量。该基准已发布在 Hugging Face 上,包含来自真实场景的 373 项下一轮对话评测,涵盖 13 种语言:英语和 12 种印度语言,其中经常混用多种语言。每个样本都会向模型提供系统提示(角色设定、对话流程和政策)、截至当前的对话以及可调用的工具,并要求模型给出智能体的下一步动作:口头回复、工具调用,或两者兼有。约一半的轮次仅调用工具,不作口头回复。大多数样本来自贷款催收和贷款销售,其余样本则主要来自调查和用户引导。每个回答都由大语言模型裁判依据是/否评分准则进行检查(共 3,774 项);对于工具调用,还会通过代码检查工具名称和参数。只有通过所有适用检查,该轮次才算通过。

在 Samvaad bench 上,关闭思考模式后,语音微调模型的得分为 68.7,高于 Sarvam-105B-1711 的 57.9,也略高于 Gemma 4 31B 的 68.0(表 2)。

表 2:关闭思考模式时的 Samvaad bench

模型Samvaad bench
Sarvam-105B-1711,语音微调版68.7
Gemma 4 31B68.0
Sarvam-105B-171157.9
Nemotron 3 Super43.3
ScrollScroll

语音微调模型以 NVFP4 格式进行评分。

Sarvam-105B-1711 在六通语音智能体通话中的表现

六通语音智能体通话分别使用英语、印地语、孟加拉语和泰卢固语。选择一通电话,即可收听来电者的语音,然后分别听取 Sarvam-105B-1711 和 GPT-6 Luna 的回复,同时查看转写文本、英文翻译,以及决定正确回复的系统提示部分。

Sarvam-105B-1711 在六通语音智能体通话中的表现。印地语,理解简短回复:Sarvam-105B-1711 将来电者的简短回复理解为“继续吧”,并推进通话。GPT-6 Luna 却误以为线路不佳。英语,长篇抱怨后说“等一下”:来电者在长篇抱怨结束时要求智能体稍等。Sarvam-105B-1711 按要求等待。GPT-6 Luna 无视这一请求,调用了工具且没有说话。印地语,跟进付款:Sarvam-105B-1711 按照脚本询问付款日期。GPT-6 Luna 再次询问来电者是否同意,而来电者此前已经同意。孟加拉语,遵循脚本:Sarvam-105B-1711 将“你好”视为脚本规定的提示,并开始调查。GPT-6 Luna 第二次请求对方同意。泰卢固语,何时进入下一步:在两次回答都不清楚后,Sarvam-105B-1711 按脚本要求转而询问年龄。GPT-6 Luna 则第三次重复提问。印地语,一个很长的多部分问题:来电者在一轮很长的发言中提出了三个问题。Sarvam-105B-1711 根据个案详情回答了全部三个问题。GPT-6 Luna 只调用了工具,没有说话。

Sarvam-105B-1711 在六通语音智能体通话中的表现
语言情境具体表现
印地语理解简短回复Sarvam-105B-1711 将来电者的简短回复理解为“继续吧”,并推进通话。GPT-6 Luna 却误以为线路不佳。
英语长篇抱怨后说“等一下”来电者在长篇抱怨结束时要求智能体稍等。Sarvam-105B-1711 按要求等待。GPT-6 Luna 无视这一请求,调用了工具且没有说话。
印地语跟进付款Sarvam-105B-1711 按照脚本询问付款日期。GPT-6 Luna 再次询问来电者是否同意,而来电者此前已经同意。
孟加拉语遵循脚本Sarvam-105B-1711 将“你好”视为脚本规定的提示,并开始调查。GPT-6 Luna 第二次请求对方同意。
泰卢固语何时进入下一步在两次回答都不清楚后,Sarvam-105B-1711 按脚本要求转而询问年龄。GPT-6 Luna 则第三次重复提问。
印地语一个很长的多部分问题来电者在一轮很长的发言中提出了三个问题。Sarvam-105B-1711 根据个案详情回答了全部三个问题。GPT-6 Luna 只调用了工具,没有说话。

Sarvam Dictate

Sarvam Dictate 是 一款听写 API:你发送音频,它便返回说话者原本想要输入的文字,支持英语和 22 种印度语言。人们说话的方式与打字不同。他们会说“嗯”,会把一句话开头说两遍,会说到一半改口,也会使用语音模型从未听过的名字。Dictate 将我们的语音识别模型 Saaras v4 与 Sarvam 105B 相结合;我们通过强化学习训练后者,将原始转写文本转化为完善的成稿。应用还可以发送一份包含最多 1,000 个姓名和术语的词汇表,而 Dictate 只会在音频中确实说到某个术语时才使用它。这项技术基于我们从听写应用 Kivi 中获得的经验;用户已在该应用中说出了超过 2,000 万个单词。

在 2,959 条真实英语听写样本中,要达到说话者原本想要表达的文本,Sarvam Dictate 仅需修改 5.0% 的字符,而 Gemini 3.5 Transcribe 和 AssemblyAI Dictation 分别需要修改 8.1% 和 10.6%。在涵盖 15 种印度语言的 692 条真实听写样本中,差距更为明显:Sarvam Dictate 为 2.7%,另外两者则分别为 12.2% 和 11.8%。音频结束后约半秒即可获得成稿,速度约为 Gemini 3.5 Transcribe 的 3.5 倍。其价格为每分钟音频 ₹0.5,其中已包含语音识别和语言模型的费用。

Sarvam Dictate 的错误率最低,每小时音频仅需 $0.32

英语印度语言
我们使用 AMEND 衡量错误率,该指标统计为匹配说话者原本想要输入的内容所需进行的字符编辑次数。图表中位置越低,意味着编辑次数越少;位置越靠左,意味着价格越低。每个系统接收相同的音频,由两个评判模型统计编辑次数。在测试的语言中,AssemblyAI 仅支持印地语、马拉地语和乌尔都语,因此其得分涵盖这些语言的 484 条听写。价格以美元计,采用标价。对于按 token 计费的 Gemini 3.5 Transcribe,我们采用 Google 自己的估算。

Sarvam Dictate 的错误率最低,每小时音频价格为 $0.32。Sarvam Dictate:英语错误率为 5.0%,印度语言为 2.7%,每小时 $0.32。Gemini 3.5 Transcribe:英语错误率为 8.1%,印度语言为 12.2%,每小时 $0.31。AssemblyAI Dictation:英语错误率为 10.6%,印度语言为 11.8%,每小时 $0.62。

Sarvam Dictate 的错误率最低,每小时音频价格为 $0.32
系统每小时音频价格(美元)英语错误率印度语言错误率
Sarvam Dictate$0.325.0%2.7%
Gemini 3.5 Transcribe$0.318.1%12.2%
AssemblyAI Dictation$0.6210.6%11.8%

Sarvam Dictate 与 Gemini 3.5 Transcribe 在八条听写上的对比

八条使用英语、印地语与英语混合语以及泰卢固语的听写。任选一条收听录音,然后比较 Saaras v4 听到的内容,以及 Sarvam Dictate 和 Gemini 3.5 Transcribe(智能模式)基于同一音频生成的成稿。输出均完全按原样展示。

Sarvam Dictate 与 Gemini 3.5 Transcribe 在八条听写上的对比。印地语 + 英语,失败的步骤:AWS 是唯一一个未能成功登录的服务,而 Gemini 漏掉了这一行。Sarvam Dictate 保留了它,并按照说话者的设置,用拉丁字母书写印地语。英语,真正的问题:说话者在询问能否移除 LLM 步骤,只发送录音链接。Gemini 的版本漏掉了这个问题。Sarvam Dictate 保留了它。英语,一个夹在中间的问题:说到一半时,说话者询问是否不要以定价开头。Gemini 漏掉了这句话,也漏掉了“But discuss pricing”。Sarvam Dictate 保留了这些文字,但漏了问号。英语,完整指令:Gemini 只写出了前五个词,并将“due level”听成了“D level”。Sarvam Dictate 写出了完整指令,只漏掉了重复的“leave it”。英语,一则状态更新:Gemini 的版本漏掉了“Added the secret”,结尾还多出了几个说话者从未说过的词。Sarvam Dictate 按原话写了出来。印地语英语混合语,一条 Slack 消息:这是一条 Slack 消息,因此说话者启用了拉丁字母设置。Gemini 没有这种设置,使用了天城文。Sarvam Dictate 按照此人实际打字时会采用的方式写了出来。印地语英语混合语,开场句:Gemini 跳过了第一句话。Sarvam Dictate 用拉丁字母完整保留了所有内容,并将其分成段落。泰卢固语,一个专有名称:Sarvam Dictate 使用泰卢固文正确写出了 Mandelbrot。Gemini 在这个名称中混入了天城文字母。将“Mandelbrot”作为词典术语提供后,两者都能正确识别。

Sarvam Dictate 与 Gemini 3.5 Transcribe 在八条听写上的对比
语言情形具体表现
印地语 + 英语失败的步骤AWS 是唯一一个未能成功登录的服务,而 Gemini 漏掉了这一行。Sarvam Dictate 保留了它,并按照说话者的设置,用拉丁字母书写印地语。
英语真正的问题说话者在询问能否移除 LLM 步骤,只发送录音链接。Gemini 的版本漏掉了这个问题。Sarvam Dictate 保留了它。
英语一个夹在中间的问题说到一半时,说话者询问是否不要以定价开头。Gemini 漏掉了这句话,也漏掉了“But discuss pricing”。Sarvam Dictate 保留了这些文字,但漏了问号。
英语完整指令Gemini 只写出了前五个词,并将“due level”听成了“D level”。Sarvam Dictate 写出了完整指令,只漏掉了重复的“leave it”。
英语一则状态更新Gemini 的版本漏掉了“Added the secret”,结尾还多出了几个说话者从未说过的词。Sarvam Dictate 按原话写了出来。
印地语英语混合语一条 Slack 消息这是一条 Slack 消息,因此说话者启用了拉丁字母设置。Gemini 没有这种设置,使用了天城文。Sarvam Dictate 按照此人实际打字时会采用的方式写了出来。
印地语英语混合语开场句Gemini 跳过了第一句话。Sarvam Dictate 用拉丁字母完整保留了所有内容,并将其分成段落。
泰卢固语一个专有名称Sarvam Dictate 使用泰卢固文正确写出了 Mandelbrot。Gemini 在这个名称中混入了天城文字母。将“Mandelbrot”作为词典术语提供后,两者都能正确识别。

本地部署智能体

智能体在数据最为敏感的场景中最有用,而恰恰也是在这些场景中最难部署。银行不能将客户账簿发送给第三方 API。医院不能让患者记录离开其网络。律师事务所、政府及国防机构,以及保护专有设计的制造商,都面临同样的限制:最能从智能体中受益的工作,恰恰是不能离开办公场所的工作。Sarvam-105B-1711 消除了这一限制。该模型可在单张 NVIDIA RTX PRO 6000 上运行,足以完全在本地为 Indus Cowork 提供支持。

在网络断开的情况下,Sarvam 105B 运行于单张 RTX PRO 6000 Blackwell 上,将 Indus Cowork 用作机密文档智能体。它依据合同签订操作手册审查三份供应商合同,随后撰写风险备忘录和演示文稿。峰值吞吐量为每秒 197 个 token,平均为 98 个。

NVFP4 检查点大小为 65 GB,是唯一能装入单张配备 96 GB 显存的 RTX PRO 6000 Blackwell 的版本。在我们的测试工作站上,每张 RTX PRO 6000 Blackwell Max-Q GPU 运行一个模型副本,不使用张量并行,由 vLLM 0.33.0 提供服务,并采用 DSpark 草稿模型和 FP8 KV 缓存。

表 3 给出了生成 500-token 回复时的速度。

表 3:Sarvam-105B-1711 NVFP4 在单张 RTX PRO 6000 Blackwell 上生成 500-token 回复时的性能

提示词长度并发请求数每位用户的解码速度(token/秒)总吞吐量(token/秒)
10K tokens19994
10K tokens437140
50K tokens16231
50K tokens41444
滚动滚动

总吞吐量计入每个请求等待首个 token 的时间,因此在只有一个请求时,它低于每位用户的解码速度。

FP8 KV 缓存。 以 FP8 而非 BF16 存储 KV 缓存,可容纳 1.9 倍的 token;在短提示词以及约 110K tokens 的密钥检索测试中,答案均保持一致。在 10K tokens 时,两种缓存都有充足余量,性能差距在 3% 以内。在 50K tokens 时,BF16 缓存只能容纳两到三个请求,因此第四位用户必须排队等待:首个 token 延迟为 46 秒,而 FP8 仅为 6.5 秒;总吞吐量则分别为 28 和 44 tokens/s。

针对这款 GPU 的内核修复。 vLLM 针对这款 GPU 的唯一 MLA 解码内核以 Triton 编写。使用 FP8 KV 缓存时,它会申请 102,400 字节共享内存,超过该显卡 101,376 字节的上限,导致服务器启动失败。将内核的流水线阶段从两个改为一个,可将共享内存用量降至 83,968 字节,同时解码性能与 BF16 缓存的差距仍保持在 1% 至 3% 以内。同一项改动已在上游提议中提出: vllm-project/vllm#54013.

在 Blackwell 上训练和部署 Sarvam 105B

我们将 Sarvam 的训练栈迁移至 NVIDIA B200 GPU 及其 MXFP8 格式。Sarvam 105B 的预训练吞吐量翻了一番,MFU 从 19% 提升至 38%。在奖励相同的情况下,每个强化学习步骤的运行速度提高到 1.79 倍。我们以 NVFP4 格式部署该模型,并搭配 DSpark 草稿模型,每张 B200 的解码吞吐量最高可达 6,067 tokens/s。在此过程中,我们发现块缩放注意力可能会将未来 token 的信息泄漏到过去的输出中,因此构建了一个能够防止这种问题的 MXFP8 注意力内核。

预训练

我们的 MXFP8 方案使用 64 张 B200,以 8K 上下文和 256 个序列的全局批次训练 Sarvam 105B,每张 GPU 达到 857 TFLOP/s(10.9K tokens/s),相比初始时的 428 TFLOP/s(5.5K tokens/s)显著提升(图 8a)。作为对比,NVIDIA 的 Megatron Bridge 数据 显示,B200 上的 MoE 模型中,DeepSeek-V3 使用 256 张 GPU 可达到 725 TFLOP/s,Qwen3-30B-A3B 使用 8 张 GPU 可达到 614 TFLOP/s;二者均采用 MXFP8 和 4K 上下文。

B200 上的预训练吞吐量与 MFU

a. B200 上的吞吐量与 NVIDIA 已发布方案的对比

b. Sarvam 105B 长上下文持续预训练,BF16

(a)B200 上的预训练吞吐量;NVIDIA 参考数据来自 Megatron Bridge 26.02.01 表格。(b)调优长上下文方案各阶段的 MFU。

B200 上的预训练吞吐量与 MFU。Sarvam MXFP8 方案在每张 B200 上达到 857 TFLOP/s(38.1% MFU);长上下文训练的 MFU 从 7.6% 提升至 24.3%。

B200 上的预训练吞吐量与 MFU
面板运行项配置每张 GPU 的 TFLOP/sMFU(%)
aSarvam MXFP8 方案8K 上下文,64 张 GPU85738.1
aNVIDIA 参考:DeepSeek-V3MXFP8,4K,256 张 GPU72532.2
aNVIDIA 参考:Qwen3-30B-A3BMXFP8,4K,8 张 GPU61427.3
aSarvam 105B 长上下文持续预训练BF16,160K,512 张 GPU54724.3
aSarvam MXFP8 初始方案8K 上下文,64 张 GPU42819.0
aNVIDIA 参考:GPT-OSS-120BBF16,4K,64 张 GPU37316.6
bH100 方案32K 上下文7.6
bETP = 132K 上下文21.6
b减少重新计算32K 上下文24.0
b减少日志记录32K 上下文24.9
bHybridEP32K 上下文26.7
b128K更长上下文24.1
b160K,16 个节点更长上下文26.2
b160K,64 个节点更长上下文24.3

MXFP8 起初比 BF16 更慢。 MXFP8 只能加速矩阵乘法(GEMM),无法加速其他操作。每个 GEMM 输入都必须先量化,并分别为前向和反向传播转换成两种布局;每个微批次还需重新构建激活值和梯度副本。微批次较小时,启动这些内核的开销与 GEMM 节省的时间相当。表 4 中的每项改动都让训练步骤中更大比例的工作由 GEMM 完成。

表 4:MXFP8 预训练方案的改动

改动为何有效
对路由器和 token 预处理使用 CUDA 图许多小型内核可通过一次 CUDA 图启动统一重放。专家计算仍留在图外,因为每个专家处理的 token 数量在每一步都会变化。
将 token 排列融合进 HybridEP 分发,并使用融合的 CuTe DSL 专家 MLP消除了 GEMM 之间受内存带宽限制的处理过程和中间张量。
将释放出的内存用于把张量并行度从 8 降至 1每个 GEMM 的规模扩大至 8 倍,同时每层不再需要两次 TP 集合通信。
将专家全对全通信与延迟执行的权重梯度 GEMM 重叠用下游无需等待的计算掩盖专家通信开销。
采用 BF16 梯度缓冲区和更大的分桶,并以 FP32 执行归约将数据并行流量减半,并减少小型集合通信的次数。
滚动滚动

Sarvam 105B 在 B200 上以 8K 上下文运行的混合精度预训练方案

428 → 857 TFLOP/s

每张 GPU 的性能,从初始方案到最终方案(+100%)

5.5K → 10.9K tokens/s

使用 64 张 B200、8K 上下文时每张 GPU 的吞吐量

各个连续方案版本的预训练吞吐量。测量结果不包括检查点保存和评估。

Sarvam 105B 在 B200 上以 8K 上下文运行的混合精度预训练方案。BF16 基线:428。+ 批处理/内存:475。+ MXFP8:572。+ 执行调优:666。+ BF16 梯度:721。+ EP 通信重叠:763。+ TP1/MBS1:806。+ CuTeDSL:857。

Sarvam 105B 在 B200 上以 8K 上下文运行的混合精度预训练方案
方案版本详情每张 GPU 的 TFLOP/s
BF16 基线TP8/MBS4428
+ 批处理/内存TP8/MBS8475
+ MXFP8线性运算572
+ 执行调优TP2/MBS2666
+ BF16 梯度传输 + 分桶721
+ EP 通信重叠+ 延迟执行权重梯度763
+ TP1/MBS1采用重叠执行806
+ CuTeDSLMLP 融合857

我们逐项加入这些改动,并且只有在大约 1,000 个步骤的运行显示吞吐量有所提高时,才会保留相应改动(图 9)。各个变体由编程智能体实现并启动运行。

长上下文。 我们使用 512 张 B200,以 BF16 在 330B tokens 上继续预训练了略多于七天,将 Sarvam 105B 的上下文长度扩展至 160K tokens。调优使 MFU 从 7.6% 提升到 24.3%(图 8b)。其中两项改动最为关键。与 H100 方案将每个专家拆分到 8 张 GPU 上不同,让每个专家完整保留在一张 GPU 上,使 MFU 提升至 21.6%;拆分方案产生的 256 维 GEMM 太小,无法让 B200 保持忙碌。在反向传播中,重新计算 MLA 的上投影而非核心注意力,使 MFU 达到 23.6%,而后者为 18.0%,因为重新计算注意力需要 O(L²) 的计算量,却只能节省 O(L) 的内存。我们还在流水线并行之前加入上下文并行:其通信可隐藏在注意力计算之下,而流水线气泡不会随着上下文增长而缩小。

数值精度。 部分线性层 GEMM 使用 MXFP8 运行,主权重和梯度累积保持 FP32,Adam 动量则以 BF16 存储。我们保留 FP32 累积,是因为 BF16 的累积误差会随微批次数量增加而增大。我们在从 Sarvam 105B 架构缩放而来的七种模型规模上,将该方案与 BF16 基线进行了比较,参数量从 0.65B 到 69.5B,训练预算最高为 8B tokens。在最大规模下,验证损失与基线接近;较小模型对 BF16 Adam 动量更为敏感。

强化学习

我们的 RL 技术栈是 NVIDIA NeMo RL 的一个分支。它使用 vLLM 生成 rollout,并使用 Megatron 训练,因此 vLLM 推理越快,RL 也就越快。我们分三个阶段进行了加速:先优化 vLLM 中的推理,再优化 RL 运行,最后优化训练器。

加速 vLLM 推理

内核。 我们为 Sarvam 的 MLA 注意力启用了 torch.compile,并补齐默认路由字段,使 vLLM 使用 FlashInfer 的 TRT-LLM MoE 内核。在两张 B200 上以 BF16 运行、批大小从 1 到 128 时,解码速度提高到 1.26 至 1.73 倍,预填充速度提高到 1.32 至 1.34 倍。

推测解码。 我们使用下文“推理”部分所述的 DSpark 草稿模型生成 rollout。

MXFP8。 我们将模型和草稿模型量化为 MXFP8,使二者能够装入一张 B200,并使用 FP8 KV 缓存。与 BF16 相比,准确率没有下降。

将其引入 RL

我们在一项指令遵循任务上,使用 Sarvam 105B 的异步 GRPO 测量了这些改进的收益。该运行使用 32 张 B200,其中一半用于生成,另一半用于训练;每个步骤生成 1,024 个 rollout,平均长度为 10.4K tokens;训练器可以使用最多落后当前策略三个版本的 rollout 进行学习。在 BF16 下,每个步骤耗时 758 秒,其中 437 秒用于等待 rollout。

MXFP8。 模型可装入一张 B200,而不再需要两张,因此同样的 16 张 GPU 可以运行 16 个生成引擎,而不是 8 个。生成吞吐量提升至 1.53 倍,步骤耗时降至 561 秒。注意力、MoE 路由器、共享专家以及第一层的 MLP 仍使用 BF16。

推测解码。 使用 3 个草稿 token、接受率为 67% 时,生成速度进一步提升至 1.73 倍,达到 33.4K tokens/s,步骤耗时为 420 至 440 秒。生成速度总体提升至 2.65 倍,但步骤速度仅提升至 1.79 倍,因为训练时间没有变化。我们的推理工作进程通常同时处理 32 至 64 个请求,在这一并发范围内,DSpark 大幅缩短了端到端延迟。使用 GRPO 时,一个步骤必须等到最慢的 rollout 完成才能结束,因此更低的延迟有助于消除拖慢训练的长尾任务。

训练期间,草稿模型的接受率保持稳定。 我们原本预计,随着策略逐渐偏离草稿模型训练时所依据的模型,草稿模型的接受长度会在 RL 期间急剧下降。但事实并非如此:经过 1,000 多个 RL 步骤后,DSpark 草稿模型仍保持了其接受长度。

准确率。 MXFP8 使生成器与训练器之间的 KL 散度从 0.030 上升到 0.041。推测解码没有额外增加散度,因为验证过程保留了完整模型的输出分布。截断重要性采样会校正剩余的偏移。BF16 的平均奖励为 0.759,使用 MXFP8 时为 0.755,同时采用两项改动时为 0.759。

消除训练器的空闲时间

每个 GRPO 步骤都会等待 rollout、计算对数概率、准备批次、进行训练,并将追踪数据写入磁盘。只有批次准备和训练必须阻塞,因此我们将其余工作移出了关键路径:

  • 等待期间计算对数概率。 权重只会在训练期间发生变化,因此我们会在每组 rollout 到达时计算其对数概率。
  • 在后台写入追踪数据。 追踪数据原本由训练线程以 JSON Lines 格式写入:在 64K 上下文下,每个步骤会写入 3.5 GB 数据,并造成 86.6 秒的停顿。改为由后台线程写入压缩 Parquet 后,体积缩小至原来的 1/16,阻塞时间约为 0.3 秒。
  • 无需暂停的验证。 我们从 16 个生成引擎中调出 2 个用于验证,并将它们冻结在该步骤的权重上。在 31 个步骤中,这将总耗时从 210.7 分钟缩短至 180.8 分钟,使训练器不再有空闲时间,并让每个验证分数都对应一个明确的策略版本。

我们已将这些 vLLM 改动贡献至上游: 面向 Sarvam MLA 的 torch.compile, 路由默认值 ,以使用 FlashInfer 的 TRT-LLM MoE 内核; EAGLE3 支持 以及 跨流水线阶段的推测解码.

智能体 RL 优化

智能体 RL 增加了一个在沙箱中运行工具和代码的执行框架。通过在持久化的执行框架工作进程中预加载共享依赖,并为每个 rollout 派生一个控制器,我们将 1,024 个并发 rollout 的启动时间中位数从 139 秒降至 11.5 秒。自适应速率限制可平滑沙箱请求的突发流量。推理加速后,耗时较长的工具调用成为瓶颈,因此我们协同调整了 rollout 超时、离策略陈旧度、批大小,以及 GPU 在生成与训练之间的分配比例。

推理

我们将 Sarvam-105B-1711 量化为 NVFP4,并搭配 DSpark 草稿模型提供服务。表 5 对比了 BF16 和 NVFP4 检查点在图 1 所列基准测试上的表现。

推测解码。 我们为 Sarvam 105B 训练了一个 DSpark 草稿模型,并添加了其所需的 vLLM 接口。草稿模型会提出若干 token,完整模型则通过一次前向传播对其进行检查。与不使用 DSpark 相比,这可显著加快推理速度,同时不降低准确率。在一张 B200 上使用 NVFP4 检查点时,从 1 到 128 个并发请求的所有负载下,DSpark 都能使每位用户的解码速度提升至 2.0 至 2.6 倍,并使总吞吐量提高至 1.9 至 2.4 倍(图 10)。

B200 上使用和不使用 DSpark 时的每用户解码速度

Sarvam-105B-1711,NVFP4,使用 DSpark;Sarvam-105B-1711,NVFP4,不使用 DSpark
在一张 B200 上使用 vLLM 0.33.0 时的每用户解码 token 数/秒:采用留出提示词,开启思考,温度为 1.0,上下文长度为 128K,DSpark 每步提出 7 个 token。标签显示了各并发度下 DSpark 带来的加速倍数。由于采样方式和草稿长度与图 11 不同,绝对数值也有所不同。

B200 上使用和不使用 DSpark 时的每用户解码速度。1 个并发请求:使用时为 642,不使用时为 245(2.6×)。8 个并发请求:使用时为 310,不使用时为 145(2.1×)。16 个并发请求:使用时为 254,不使用时为 114(2.2×)。32 个并发请求:使用时为 182,不使用时为 81(2.2×)。64 个并发请求:使用时为 127,不使用时为 60(2.1×)。128 个并发请求:使用时为 85,不使用时为 42(2.0×)。

B200 上使用和不使用 DSpark 时的每用户解码速度
并发请求数使用 DSpark(每用户 tok/s)不使用 DSpark(每用户 tok/s)加速倍数
16422452.6×
83101452.1×
162541142.2×
32182812.2×
64127602.1×
12885422.0×

量化内容。 Sarvam 105B 有 31 个 MoE 层,每层包含 128 个路由专家,而这些专家承载了大部分参数。我们以 NVFP4 格式存储它们:数值采用 4 位表示,每 16 个数值对应一个 FP8 缩放因子,每个张量对应一个 FP32 缩放因子。运行时,它们的输入激活也以相同方式量化。注意力层、第一层的稠密 MLP 和共享专家采用 MXFP8。路由器和输出头则保留 BF16。

校准。 4 位激活需要为每一层设置固定缩放因子。我们从模型自身生成的对话中提取这些因子,涵盖开启和关闭思考两种情况。每个路由专家都接收到了校准 token。

内存。 该检查点大小为 65 GB,而 MXFP8 和 BF16 检查点分别为 111 GB 和 198 GB。在一张 B200 上,这可为 FP8 KV 缓存留出容纳 304 万个 token 的空间,足以支持 23 个完整 128K 上下文的请求。

服务栈。 我们使用 llm-compressor 生成检查点,并通过 vLLM 0.33.0 提供服务;vLLM 会从配置中读取 MXFP8 与 NVFP4 的混合布局,并使用 FlashInfer 的 TRT-LLM NVFP4 MoE 内核。DSpark 草稿模型采用 MXFP8,并随同一代码仓库发布。NVFP4 需要 Blackwell 的 FP4 张量核心。

表 5:会话智能体基准测试中的 BF16 与 NVFP4 检查点

基准测试Sarvam-105B-1711 BF16Sarvam-105B-1711 NVFP4
IFBench82.581.8
MultiChallenge62.262.5
Advanced-IF60.959.5
WritingBench8.658.66
Arena-Hard v2,综合得分76.675.3
Tau2 平均分85.584.1
BFCL v4 综合得分62.462.7
Indic 测试套件79.178.8
ScrollScroll

在开启思考的留出数据上,搭配 DSpark 的 NVFP4 检查点处理单个请求时,解码速度为 666 token/s。在 64 个并发请求下,每张 GPU 的解码吞吐量达到 6,067 token/s,约为我们 BF16 配置的 2.1 倍、MXFP8 配置的 1.2 倍,以及搭配 MTP 的 MXFP8 Gemma 4 31B 的 2.0 倍(图 11)。我们将权重和激活都量化为 4 位(W4A4),因为 vLLM 会通过 FlashInfer 的 TRT-LLM NVFP4 内核运行该格式。如果采用 4 位权重和 16 位激活,则会回退到速度较慢的 Marlin 内核,每张 GPU 的吞吐量将降至 3,043 token/s,低于 MXFP8。

B200 上的服务吞吐量

a. 吞吐量与每用户解码速度的关系

Sarvam-105B-1711,NVFP4 + DSpark;Sarvam-105B-1711,MXFP8 + DSpark;Sarvam-105B-1711,BF16 + DSpark;Gemma 4 31B,MXFP8 + MTP;Gemma 4 31B,BF16 + MTP

b. 64 个并发请求下的吞吐量

在 1,100 条留出提示词上测得的每张 GPU 解码 token 数/秒,开启思考并采用贪心解码;DSpark 每步提出 5 个 token,Gemma 的 MTP 草稿模型每步提出 3 个。(a)每条曲线覆盖 1 至 64 个并发请求。(b)64 个并发请求下的吞吐量。

B200 上的服务吞吐量。在 64 个并发请求下:Sarvam-105B-1711,NVFP4 + DSpark 为 6,067;Sarvam-105B-1711,MXFP8 + DSpark 为 5,073;Gemma 4 31B,MXFP8 + MTP 为 2,994;Sarvam-105B-1711,BF16 + DSpark 为 2,888;Gemma 4 31B,BF16 + MTP 为每张 GPU 每秒 1,809 个 token。

B200 上的服务吞吐量
配置并发请求数每用户(tok/s)每张 GPU(tok/s)
Sarvam-105B-1711,NVFP4 + DSpark1666609
Sarvam-105B-1711,NVFP4 + DSpark83212,124
Sarvam-105B-1711,NVFP4 + DSpark162452,954
Sarvam-105B-1711,NVFP4 + DSpark321734,484
Sarvam-105B-1711,NVFP4 + DSpark641216,067
Sarvam-105B-1711,MXFP8 + DSpark1534515
Sarvam-105B-1711,MXFP8 + DSpark82431,668
Sarvam-105B-1711,MXFP8 + DSpark161952,479
Sarvam-105B-1711,MXFP8 + DSpark321473,576
Sarvam-105B-1711,MXFP8 + DSpark641135,073
Sarvam-105B-1711,BF16 + DSpark1577274
Sarvam-105B-1711,BF16 + DSpark8259902
Sarvam-105B-1711,BF16 + DSpark162141,301
Sarvam-105B-1711,BF16 + DSpark321692,207
Sarvam-105B-1711,BF16 + DSpark641282,888
Gemma 4 31B,MXFP8 + MTP1307288
Gemma 4 31B,MXFP8 + MTP82321,444
Gemma 4 31B,MXFP8 + MTP161842,138
Gemma 4 31B,MXFP8 + MTP321192,778
Gemma 4 31B,MXFP8 + MTP64672,994
Gemma 4 31B,BF16 + MTP1320150
Gemma 4 31B,BF16 + MTP8250689
Gemma 4 31B,BF16 + MTP161991,148
Gemma 4 31B,BF16 + MTP321311,477
Gemma 4 31B,BF16 + MTP64771,809

这让我们能够以低得多的成本提供 Sarvam-105B-1711 服务。它在会话智能体基准测试中的平均成绩与 Gemini 3.5 Flash-Lite 持平,而成本不到 Google 标价的五分之一。

该技术栈的每个部分都可沿用到更大的模型:以 38% MFU 进行 MXFP8 预训练;在 512 张 B200 上以 24.3% MFU 进行长上下文训练;在奖励相同的情况下,RL 步骤速度提高至 1.79 倍;以及以每张 B200 每秒解码 6,067 个 token 的速度提供 NVFP4 服务。我们现在已准备好训练大得多的模型。

开始使用 Sarvam-105B-1711

使用 API。 Sarvam-105B-1711 已在 Sarvam Token Factory 上线。在 控制面板 上创建 API 密钥,即可立即开始发送请求。

自行运行。 我们已在 sarvamai/sarvam-105b-1711开源 NVFP4 权重。这正是我们在 Sarvam Token Factory 上提供服务的模型。包括 DSpark 推测解码在内的高效推理支持已合并至 vLLM,模型卡中列出了我们在生产环境中使用的托管设置。

进一步训练。 对于希望微调或后训练该模型的用户,我们还在 sarvamai/sarvam-105b-1711-bf16发布了 BF16 权重。后训练支持已合并至 NeMo RL,因此你现在就可以启动强化学习任务,包括使用 FP8。