2026年11月22日·阅读时长18分钟今天,我们发布 Sarvam 105B 的新开放权重检查点 Sarvam-105B-1711。该模型使用升级后的 B200 基础设施训练,是一款专为客服、语音智能体和智能体任务等高吞吐量工作打造的 Flash-Lite 模型。 与我们今年2月发布的版本相比,它在长对话中能更可靠地遵循指令、更准确地调用工具,并显著提升了印度语言处理能力;其在八项会话智能体基准测试中的平均得分从42.6升至74.5。我们的推理优化还将混合价格降低了三分之二,从每百万 token 0.44美元降至0.15美元。模型权重已在 Hugging Face 上发布,包括 BF16 以及一个 65 GB 的 NVFP4 版本 ,后者可在单张工作站 GPU 上运行。
- 它的表现与 Gemini 3.5 Flash-Lite 和 Gemma 4 31B 相当,而价格仅为它们的一小部分。 在八项会话智能体基准测试中,Sarvam-105B-1711 的平均得分为73.9,混合价格为每百万 token 0.15美元。Gemini 3.5 Flash-Lite 的平均得分为74.0,价格为0.85美元,是其五倍以上;表现最强的其他开放模型 Gemma 4 31B 平均得分为73.0,价格为0.54美元,是其三倍以上。
- 自2月以来,提升最大的是会话智能体技能。 在 IFBench 上,指令遵循得分从32.5升至82.5;在 Tau2 上,客服对话中的工具使用得分从46.2升至85.5;在我们的印度语言套件上,印度语言表现从30.1升至79.1。它也是我们在 Tau2 上测试过的稳定性最高的模型:在四次尝试中均正确完成客服任务的比例为69.5%,相比之下,Gemini 3.5 Flash-Lite 为63.9%,Gemma 4 31B 为62.1%。
- 该模型在企业应用中的真实任务上表现出色。 我们的语音微调版本为 Samvaad 提供支持,在 Samvaad 基准测试中得分68.7(已在 HF 上发布),高于基础检查点的57.9,也领先于 Gemma 4 31B。采用 NVFP4 格式时,该模型可装入单张 RTX PRO 6000 Blackwell GPU,并达到每位用户每秒99个 token,因此银行、政府部门和战略行业可以在本地运行它。
- 在 Blackwell 上,训练和服务吞吐量大致翻了一番。 通过采用8位精度训练,我们将每张 GPU 的预训练吞吐量从每秒5,500个 token 提升至10,900个,超过 NVIDIA 针对同类模型给出的参考数据,因此同一集群现在可以训练两倍数量的 token。在强化学习中,使用推测解码加快生成速度后,每个训练步骤的耗时从约13分钟缩短至约7分钟,奖励没有下降。在服务方面,该模型的4位版本在64位并发用户下,每张 B200 每秒可生成约6,000个 token,吞吐量是我们此前配置的两倍,也是 Gemma 4 31B 的两倍,从而使我们的单 token 成本大致减半。
- 这套技术栈已为训练更大规模的模型做好准备。 我们使用512张 GPU 进行了长上下文训练,在略多于七天的时间里处理了3300亿个 token,将模型的上下文扩展至160K tokens。我们还掌握了如何针对 OpenAI GDPval 基准测试中的各类真实工作任务开展强化学习,例如让模型使用工具并在沙盒中运行代码,从采购订单电子表格中汇总一个月的发货情况。随着我们准备为更大模型投入更多训练算力,我们将继续优化面向长周期任务的多工具环境构建方式。
性能
Sarvam-105B-1711 是一款 Flash-Lite 模型。我们将它与同类其他模型进行比较:三个闭源模型(GPT-6 Luna、Gemini 3.5 Flash-Lite 和 Claude Haiku 4.5)以及三个开放模型(Gemma 4 31B、Nemotron 3 Super 和 Mistral Small 4),所有模型均在我们自己的评测环境中运行。Sarvam-105B-1711 的价格不高于其中任何一个。Flash-Lite 模型适用于客服、语音智能体、内部助手、基于检索内容的回答,以及大规模提取和分类任务。
面向会话智能体、能力更强的 Sarvam 105B
印度企业将很大一部分 token 用于聊天场景:每天数百万次运行客服、使用印度语言的语音智能体、内部助手,以及针对公司文档的问答。这里的“聊天”既包括普通对话,也包括模型在多个轮次中调用工具的智能体对话。要出色完成这些任务,模型必须在多轮交互中遵循长系统提示词里的每一项指令,使用正确的参数调用正确的工具,根据检索到的文本作答,并能以印度语言和混合语码语音完成这一切。
我们使用八项基准测试衡量这些技能:用于评估指令遵循能力的 IFBench、MultiChallenge 和 Advanced-IF;用于评估聊天质量的 WritingBench 和 Arena-Hard v2;用于评估工具调用能力的 Tau2 和 BFCL v4;以及用于评估印度语言能力的 Sarvam Indic 套件。图1展示了各模型的平均得分与价格之间的关系。Sarvam-105B-1711(NVFP4 检查点)的平均得分为73.9,每百万 token 价格为0.15美元;相比之下,Gemini 3.5 Flash-Lite 得分74.0,价格为0.85美元;GPT-6 Luna(high)得分66.3,价格为0.20美元;Gemma 4 31B 得分73.0,价格为0.54美元。
会话智能体基准测试平均得分与价格的对比
Sarvam-105B-1711Sarvam-105B(3月版)其他 Flash-Lite 模型会话智能体基准测试平均得分与价格的对比。Sarvam-105B-1711(NVFP4):73.9,每百万 token 0.15美元。Sarvam-105B(3月版):42.6,每百万 token 0.44美元。Gemini 3.5 Flash-Lite(high):74.0,每百万 token 0.85美元。GPT-6 Luna(high):66.3,每百万 token 0.20美元。Gemma 4 31B:73.0,每百万 token 0.54美元。Nemotron 3 Super:62.2,每百万 token 0.17美元。Mistral Small 4:49.7,每百万 token 0.26美元。Qwen3.8 27B(xhigh):74.6,每百万 token 0.96美元。
| 模型 | 基准测试平均得分 | 混合价格(美元/百万 token) | 价格来源 |
|---|---|---|---|
| Sarvam-105B-1711(NVFP4) | 73.9 | $0.15 | Token Factory ₹10 / ₹25 |
| Sarvam-105B(3月版) | 42.6 | $0.44 | 混合价格0.44美元 |
| Gemini 3.5 Flash-Lite(high) | 74.0 | $0.85 | Google 标准价格0.30美元 / 2.50美元 |
| GPT-6 Luna(high) | 66.3 | $0.20 | OpenRouter 0.10美元 / 0.50美元 |
| Gemma 4 31B | 73.0 | $0.54 | Token Factory 标价 ₹35 / ₹90 |
| Nemotron 3 Super | 62.2 | $0.17 | OpenRouter 0.08美元 / 0.45美元 |
| Mistral Small 4 | 49.7 | $0.26 | OpenRouter 0.15美元 / 0.60美元 |
| Qwen3.8 27B(xhigh) | 74.6 | $0.96 | 混合价格0.96美元 |
在 Flash-Lite 模型中,Sarvam-105B-1711 在 IFEval(96.5)、IFBench(82.5)和 Arena-Hard v2 高难度提示(82.9)上得分最高,其 Tau2 平均得分(85.5)与最佳成绩仅相差0.3分(Qwen3.8 27B 为85.8)。在 Indic 套件上,它取得79.1分,与最佳成绩仅相差不到1分(GPT-6 Luna 为80.9),并大幅领先 Qwen3.8 27B(64.8)、Mistral Small 4(44.3)和 Nemotron 3 Super(39.5)。
重复对话中的一致性。 对于面向客户的智能体,每次都正确完成同一任务,比只正确完成一次更重要。Sarvam-105B-1711 在四次尝试中每次都能解决69.5%的 Tau2 任务,领先 Gemini 3.5 Flash-Lite(63.9)和 Gemma 4 31B(62.1)(图2)。
重复客户任务的一致性(Tau2 pass^4)
重复客户任务的一致性(Tau2 pass^4)。Sarvam-105B-1711:69.5。Qwen3.8 27B(xhigh):69.0。Gemini 3.5 Flash-Lite:63.9。Gemma 4 31B:62.1。GPT-6 Luna(high):54.4。Nemotron 3 Super:49.9。Claude Haiku 4.5:38.7。Mistral Small 4:25.5。
| 模型 | Tau2 pass^4 |
|---|---|
| Sarvam-105B-1711 | 69.5 |
| Qwen3.8 27B(xhigh) | 69.0 |
| Gemini 3.5 Flash-Lite | 63.9 |
| Gemma 4 31B | 62.1 |
| GPT-6 Luna(high) | 54.4 |
| Nemotron 3 Super | 49.9 |
| Claude Haiku 4.5 | 38.7 |
| Mistral Small 4 | 25.5 |
搜索、知识与推理任务的表现
除聊天外,我们还评测智能体搜索、协同办公任务、知识和数学能力。在智能体工作方面,Sarvam-105B-1711 在 GDPval-S 上仅次于 Gemini 3.5 Flash-Lite(66.9对73.0);GDPval-S 是由 GPT-6 Luna 评判的 OpenAI GDPval 任务。它还领先于所有其他开放模型(Gemma 4 31B 为61.1、Nemotron 3 Super 为56.8、Mistral Small 4 为49.2)。在我们的内部协同办公任务中,它同样仅次于 Gemini 3.5 Flash-Lite(57.1对61.4),在 BrowseComp 上也与其接近(41.4对42.9)。数学方面,它在不使用工具的 AIME 26 上取得89.7分,领先 Gemini 3.5 Flash-Lite 和所有开放模型;使用工具时得分为94.2。完整结果见表1。
表1:Sarvam-105B-1711 与闭源及开放 Flash-Lite 模型的对比
| 基准测试 | Sarvam-105B-1711,每百万 token 0.15美元 | Nemotron 3 Super,每百万 token 0.17美元 | GPT-6 Luna(high),每百万 token 0.20美元 | Mistral Small 4,每百万 token 0.26美元 | Gemma 4 31B,每百万 token 0.54美元 | Gemini 3.5 Flash-Lite(high),每百万 token 0.85美元 | Qwen3.8 27B(xhigh),每百万 token 0.96美元 |
|---|---|---|---|---|---|---|---|
| 指令遵循与聊天 | |||||||
| IFEval | 96.5 | 90.8 | 88.4 | 82.3 | 94.7 | 95.6 | 94.0 |
| IFBench | 82.5 | 70.9 | 57.3 | 41.0 | 77.8 | 73.5 | 79.6 |
| MultiChallenge | 62.2 | 50.8 | 56.7 | 30.6 | 63.6 | 64.8 | 65.2 |
| Advanced-IF | 60.9 | 42.4 | 57.9 | 31.4 | 60.2 | 64.9 | 62.1 |
| WritingBench | 8.65 | 8.73 | 7.81 | 8.55 | 7.92 | 8.07 | 8.66 |
| Arena-Hard v2,高难度提示 | 82.9 | 73.4 | 59.7 | 48.4 | 65.7 | 68.9 | 79.8 |
| Arena-Hard v2,创意写作 | 65.4 | 73.7 | 66.3 | 65.6 | 89.3 | 90.2 | 82.5 |
| Arena-Hard v2,综合 | 76.6 | 73.5 | 62.2 | 54.6 | 75.0 | 77.2 | 80.8 |
| 工具调用 | |||||||
| Tau2 平均分 | 85.5 | 77.5 | 77.5 | 55.3 | 81.1 | 83.1 | 85.8 |
| Tau2 航空 | 78.0 | 78.0 | 76.0 | 41.5 | 82.5 | 82.5 | 83.0 |
| Tau2 零售 | 79.6 | 74.6 | 75.7 | 71.3 | 75.7 | 75.0 | 79.8 |
| Tau2 电信 | 98.9 | 79.8 | 80.9 | 53.1 | 85.1 | 91.7 | 94.7 |
| Tau3 银行,全部工具 | 19.8 | 16.2 | 37.4 | 3.6 | 18.6 | 23.7 | 50.3 |
| BFCL v4 综合 | 62.4 | 55.4 | 60.0 | 55.0 | 68.8 | 67.8 | 71.6 |
| 印度语言 | |||||||
| Indic 套件 | 79.1 | 39.5 | 80.9 | 44.3 | 78.6 | 79.7 | 64.8 |
| 搜索与协同办公 | |||||||
| BrowseComp | 41.4 | 27.9 | 66.2 | 14.5 | 33.2 | 42.9 | ‡ |
| GDPval-S | 66.9 | 56.8 | - | 49.2 | 61.1 | 73.0 | † |
| 内部协同办公 | 57.1 | 42.8 | - | 33.6 | 50.3 | 61.4 | † |
| 知识与推理 | |||||||
| MMLU-Pro | 85.2 | 85.1 | 87.0 | 80.6 | 88.1 | 88.1 | 86.9 |
| GPQA Diamond | 80.4 | 78.9 | 86.7 | 71.0 | 84.3 | 85.2 | 88.7 |
| HLE,不使用工具 | 12.3 | 17.3 | 30.6 | 9.6 | 22.1 | 17.9 | 30.8* |
| HLE,使用工具 | 16.3 | 18.9 | - | 7.8 | 19.9 | 16.5 | ‡ |
| HMMT 26年2月 | 71.8 | 76.4 | 85.9 | 74.4 | 77.3 | 64.8 | 81.6 |
| HMMT 26年2月,使用工具 | 87.9 | 83.1 | - | 56.8 | 89.4 | 87.1 | 87.1 |
| AIME 26 | 89.7 | 87.6 | 93.7 | 87.1 | 89.0 | 83.2 | 93.6 |
| AIME 26,使用工具 | 94.2 | 89.2 | - | 85.0 | 95.8 | 96.7 | 99.2 |
| LiveCodeBench v6 | 75.3 | 75.5 | 85.2 | 68.4 | 81.9 | 73.9 | 90.3* |
* 官方公布。† 在 GDPval-S 的评测运行中,Qwen3.8 27B 有52.6%耗尽了输出 token 预算;在内部协同办公评测运行中,这一比例为50.3%。在其余评测运行中,Qwen3.8 27B 和 Sarvam-105B-1711 在 GDPval-S 上分别取得82.5分和71.5分(n=396),在内部协同办公部分得分上分别为78.2分和61.4分(n=179)。‡ 使用工具的 HLE:Qwen3.8 27B 在68.6%的评测运行中耗尽了每轮8k的输出预算。BrowseComp:在同样的每轮8k限制下,它在48.6%的评测运行中没有返回最终答案。各列按每百万 token 的混合价格排序(输入与输出之比为3:1)。Sarvam-105B-1711 和 Gemma 4 31B:Token Factory 标价(₹10 / ₹25 和 ₹35 / ₹90,按1美元兑₹90计算)。Gemini 3.5 Flash-Lite:Google 标准层级价格(0.30美元 / 2.50美元)。GPT-6 Luna(0.10美元 / 0.50美元)、Nemotron 3 Super(0.08美元 / 0.45美元)、Mistral Small 4(0.15美元 / 0.60美元)和 Qwen3.8 27B(阿里云,0.425美元 / 2.55美元):OpenRouter。
基准测试设置和评测框架详情见 benchmark_config.yaml.
Sarvam-105B-1711 的生产应用
Sarvam 针对企业用例提供多种产品:用于知识工作的 Indus Cowork、用于印度语言语音智能体的 Samvaad、用于听写的 Sarvam Dictate,以及可在单张工作站 GPU 上运行的本地部署智能体。我们在这些产品中分别试用了 Sarvam-105B-1711。
Indus Cowork
在我们的协同办公产品 Indus 中,我们发现该模型能够处理多个专业领域的知识工作,其中包括需要在单轮中调用数十次工具的任务。面对更困难的任务时,它会探索更多方法,也会更频繁地检查自己的工作。
Sarvam-105B-1711 处理四项真实工作任务
Sarvam-105B-1711 处理四项真实工作任务。实验室运营协调员:通过三轮提示跟踪实验室请求并制作审核演示文稿。行政服务经理:将 PDF 清理日历转化为员工备忘录和 Excel 日程表。医疗秘书:为三家病理实验室制作 Excel 申请表和电子邮件模板。礼宾员:调研纳帕酒庄,并编写一份带有照片的四页 Word 指南。
| 职业 | 任务 |
|---|---|
| 实验室运营协调员 | 通过三轮提示跟踪实验室请求并制作审核演示文稿。 |
| 行政服务经理 | 将 PDF 清理日历转化为员工备忘录和 Excel 日程表。 |
| 医疗秘书 | 为三家病理实验室制作 Excel 申请表和电子邮件模板。 |
| 礼宾员 | 调研纳帕酒庄,并编写一份带有照片的四页 Word 指南。 |
Samvaad 语音智能体
部署在语音应用中的对话智能体需要以低延迟作出响应,同时具备出色的印度语言理解能力,并能在关闭思考模式时调用工具。我们针对语音应用对 Sarvam-105B-1711 进行微调,并将其部署到 Samvaad——我们的企业语音智能体平台,支持 12 种印度语言。该模型能够处理真实对话中的复杂情况:来电者在句子中途切换语言、修改先前提供的细节,或提出含糊不清的请求。它必须保持上下文、询问缺失信息、遵循客户特定指令并选择适当的工具调用,同时自然地作出回应。它还需要解读有瑕疵的转写文本和意外的工具输出。
我们在 Samvaad bench上对此进行衡量。该基准已发布在 Hugging Face 上,包含来自真实场景的 373 项下一轮对话评测,涵盖 13 种语言:英语和 12 种印度语言,其中经常混用多种语言。每个样本都会向模型提供系统提示(角色设定、对话流程和政策)、截至当前的对话以及可调用的工具,并要求模型给出智能体的下一步动作:口头回复、工具调用,或两者兼有。约一半的轮次仅调用工具,不作口头回复。大多数样本来自贷款催收和贷款销售,其余样本则主要来自调查和用户引导。每个回答都由大语言模型裁判依据是/否评分准则进行检查(共 3,774 项);对于工具调用,还会通过代码检查工具名称和参数。只有通过所有适用检查,该轮次才算通过。
在 Samvaad bench 上,关闭思考模式后,语音微调模型的得分为 68.7,高于 Sarvam-105B-1711 的 57.9,也略高于 Gemma 4 31B 的 68.0(表 2)。
表 2:关闭思考模式时的 Samvaad bench
| 模型 | Samvaad bench |
|---|---|
| Sarvam-105B-1711,语音微调版 | 68.7 |
| Gemma 4 31B | 68.0 |
| Sarvam-105B-1711 | 57.9 |
| Nemotron 3 Super | 43.3 |
语音微调模型以 NVFP4 格式进行评分。
Sarvam-105B-1711 在六通语音智能体通话中的表现
Sarvam-105B-1711 在六通语音智能体通话中的表现。印地语,理解简短回复:Sarvam-105B-1711 将来电者的简短回复理解为“继续吧”,并推进通话。GPT-6 Luna 却误以为线路不佳。英语,长篇抱怨后说“等一下”:来电者在长篇抱怨结束时要求智能体稍等。Sarvam-105B-1711 按要求等待。GPT-6 Luna 无视这一请求,调用了工具且没有说话。印地语,跟进付款:Sarvam-105B-1711 按照脚本询问付款日期。GPT-6 Luna 再次询问来电者是否同意,而来电者此前已经同意。孟加拉语,遵循脚本:Sarvam-105B-1711 将“你好”视为脚本规定的提示,并开始调查。GPT-6 Luna 第二次请求对方同意。泰卢固语,何时进入下一步:在两次回答都不清楚后,Sarvam-105B-1711 按脚本要求转而询问年龄。GPT-6 Luna 则第三次重复提问。印地语,一个很长的多部分问题:来电者在一轮很长的发言中提出了三个问题。Sarvam-105B-1711 根据个案详情回答了全部三个问题。GPT-6 Luna 只调用了工具,没有说话。
| 语言 | 情境 | 具体表现 |
|---|---|---|
| 印地语 | 理解简短回复 | Sarvam-105B-1711 将来电者的简短回复理解为“继续吧”,并推进通话。GPT-6 Luna 却误以为线路不佳。 |
| 英语 | 长篇抱怨后说“等一下” | 来电者在长篇抱怨结束时要求智能体稍等。Sarvam-105B-1711 按要求等待。GPT-6 Luna 无视这一请求,调用了工具且没有说话。 |
| 印地语 | 跟进付款 | Sarvam-105B-1711 按照脚本询问付款日期。GPT-6 Luna 再次询问来电者是否同意,而来电者此前已经同意。 |
| 孟加拉语 | 遵循脚本 | Sarvam-105B-1711 将“你好”视为脚本规定的提示,并开始调查。GPT-6 Luna 第二次请求对方同意。 |
| 泰卢固语 | 何时进入下一步 | 在两次回答都不清楚后,Sarvam-105B-1711 按脚本要求转而询问年龄。GPT-6 Luna 则第三次重复提问。 |
| 印地语 | 一个很长的多部分问题 | 来电者在一轮很长的发言中提出了三个问题。Sarvam-105B-1711 根据个案详情回答了全部三个问题。GPT-6 Luna 只调用了工具,没有说话。 |
Sarvam Dictate
Sarvam Dictate 是 一款听写 API:你发送音频,它便返回说话者原本想要输入的文字,支持英语和 22 种印度语言。人们说话的方式与打字不同。他们会说“嗯”,会把一句话开头说两遍,会说到一半改口,也会使用语音模型从未听过的名字。Dictate 将我们的语音识别模型 Saaras v4 与 Sarvam 105B 相结合;我们通过强化学习训练后者,将原始转写文本转化为完善的成稿。应用还可以发送一份包含最多 1,000 个姓名和术语的词汇表,而 Dictate 只会在音频中确实说到某个术语时才使用它。这项技术基于我们从听写应用 Kivi 中获得的经验;用户已在该应用中说出了超过 2,000 万个单词。
在 2,959 条真实英语听写样本中,要达到说话者原本想要表达的文本,Sarvam Dictate 仅需修改 5.0% 的字符,而 Gemini 3.5 Transcribe 和 AssemblyAI Dictation 分别需要修改 8.1% 和 10.6%。在涵盖 15 种印度语言的 692 条真实听写样本中,差距更为明显:Sarvam Dictate 为 2.7%,另外两者则分别为 12.2% 和 11.8%。音频结束后约半秒即可获得成稿,速度约为 Gemini 3.5 Transcribe 的 3.5 倍。其价格为每分钟音频 ₹0.5,其中已包含语音识别和语言模型的费用。
Sarvam Dictate 的错误率最低,每小时音频仅需 $0.32
英语印度语言Sarvam Dictate 的错误率最低,每小时音频价格为 $0.32。Sarvam Dictate:英语错误率为 5.0%,印度语言为 2.7%,每小时 $0.32。Gemini 3.5 Transcribe:英语错误率为 8.1%,印度语言为 12.2%,每小时 $0.31。AssemblyAI Dictation:英语错误率为 10.6%,印度语言为 11.8%,每小时 $0.62。
| 系统 | 每小时音频价格(美元) | 英语错误率 | 印度语言错误率 |
|---|---|---|---|
| Sarvam Dictate | $0.32 | 5.0% | 2.7% |
| Gemini 3.5 Transcribe | $0.31 | 8.1% | 12.2% |
| AssemblyAI Dictation | $0.62 | 10.6% | 11.8% |
Sarvam Dictate 与 Gemini 3.5 Transcribe 在八条听写上的对比
Sarvam Dictate 与 Gemini 3.5 Transcribe 在八条听写上的对比。印地语 + 英语,失败的步骤:AWS 是唯一一个未能成功登录的服务,而 Gemini 漏掉了这一行。Sarvam Dictate 保留了它,并按照说话者的设置,用拉丁字母书写印地语。英语,真正的问题:说话者在询问能否移除 LLM 步骤,只发送录音链接。Gemini 的版本漏掉了这个问题。Sarvam Dictate 保留了它。英语,一个夹在中间的问题:说到一半时,说话者询问是否不要以定价开头。Gemini 漏掉了这句话,也漏掉了“But discuss pricing”。Sarvam Dictate 保留了这些文字,但漏了问号。英语,完整指令:Gemini 只写出了前五个词,并将“due level”听成了“D level”。Sarvam Dictate 写出了完整指令,只漏掉了重复的“leave it”。英语,一则状态更新:Gemini 的版本漏掉了“Added the secret”,结尾还多出了几个说话者从未说过的词。Sarvam Dictate 按原话写了出来。印地语英语混合语,一条 Slack 消息:这是一条 Slack 消息,因此说话者启用了拉丁字母设置。Gemini 没有这种设置,使用了天城文。Sarvam Dictate 按照此人实际打字时会采用的方式写了出来。印地语英语混合语,开场句:Gemini 跳过了第一句话。Sarvam Dictate 用拉丁字母完整保留了所有内容,并将其分成段落。泰卢固语,一个专有名称:Sarvam Dictate 使用泰卢固文正确写出了 Mandelbrot。Gemini 在这个名称中混入了天城文字母。将“Mandelbrot”作为词典术语提供后,两者都能正确识别。
| 语言 | 情形 | 具体表现 |
|---|---|---|
| 印地语 + 英语 | 失败的步骤 | AWS 是唯一一个未能成功登录的服务,而 Gemini 漏掉了这一行。Sarvam Dictate 保留了它,并按照说话者的设置,用拉丁字母书写印地语。 |
| 英语 | 真正的问题 | 说话者在询问能否移除 LLM 步骤,只发送录音链接。Gemini 的版本漏掉了这个问题。Sarvam Dictate 保留了它。 |
| 英语 | 一个夹在中间的问题 | 说到一半时,说话者询问是否不要以定价开头。Gemini 漏掉了这句话,也漏掉了“But discuss pricing”。Sarvam Dictate 保留了这些文字,但漏了问号。 |
| 英语 | 完整指令 | Gemini 只写出了前五个词,并将“due level”听成了“D level”。Sarvam Dictate 写出了完整指令,只漏掉了重复的“leave it”。 |
| 英语 | 一则状态更新 | Gemini 的版本漏掉了“Added the secret”,结尾还多出了几个说话者从未说过的词。Sarvam Dictate 按原话写了出来。 |
| 印地语英语混合语 | 一条 Slack 消息 | 这是一条 Slack 消息,因此说话者启用了拉丁字母设置。Gemini 没有这种设置,使用了天城文。Sarvam Dictate 按照此人实际打字时会采用的方式写了出来。 |
| 印地语英语混合语 | 开场句 | Gemini 跳过了第一句话。Sarvam Dictate 用拉丁字母完整保留了所有内容,并将其分成段落。 |
| 泰卢固语 | 一个专有名称 | Sarvam Dictate 使用泰卢固文正确写出了 Mandelbrot。Gemini 在这个名称中混入了天城文字母。将“Mandelbrot”作为词典术语提供后,两者都能正确识别。 |
本地部署智能体
智能体在数据最为敏感的场景中最有用,而恰恰也是在这些场景中最难部署。银行不能将客户账簿发送给第三方 API。医院不能让患者记录离开其网络。律师事务所、政府及国防机构,以及保护专有设计的制造商,都面临同样的限制:最能从智能体中受益的工作,恰恰是不能离开办公场所的工作。Sarvam-105B-1711 消除了这一限制。该模型可在单张 NVIDIA RTX PRO 6000 上运行,足以完全在本地为 Indus Cowork 提供支持。
NVFP4 检查点大小为 65 GB,是唯一能装入单张配备 96 GB 显存的 RTX PRO 6000 Blackwell 的版本。在我们的测试工作站上,每张 RTX PRO 6000 Blackwell Max-Q GPU 运行一个模型副本,不使用张量并行,由 vLLM 0.33.0 提供服务,并采用 DSpark 草稿模型和 FP8 KV 缓存。
表 3 给出了生成 500-token 回复时的速度。
表 3:Sarvam-105B-1711 NVFP4 在单张 RTX PRO 6000 Blackwell 上生成 500-token 回复时的性能
| 提示词长度 | 并发请求数 | 每位用户的解码速度(token/秒) | 总吞吐量(token/秒) |
|---|---|---|---|
| 10K tokens | 1 | 99 | 94 |
| 10K tokens | 4 | 37 | 140 |
| 50K tokens | 1 | 62 | 31 |
| 50K tokens | 4 | 14 | 44 |
总吞吐量计入每个请求等待首个 token 的时间,因此在只有一个请求时,它低于每位用户的解码速度。
FP8 KV 缓存。 以 FP8 而非 BF16 存储 KV 缓存,可容纳 1.9 倍的 token;在短提示词以及约 110K tokens 的密钥检索测试中,答案均保持一致。在 10K tokens 时,两种缓存都有充足余量,性能差距在 3% 以内。在 50K tokens 时,BF16 缓存只能容纳两到三个请求,因此第四位用户必须排队等待:首个 token 延迟为 46 秒,而 FP8 仅为 6.5 秒;总吞吐量则分别为 28 和 44 tokens/s。
针对这款 GPU 的内核修复。 vLLM 针对这款 GPU 的唯一 MLA 解码内核以 Triton 编写。使用 FP8 KV 缓存时,它会申请 102,400 字节共享内存,超过该显卡 101,376 字节的上限,导致服务器启动失败。将内核的流水线阶段从两个改为一个,可将共享内存用量降至 83,968 字节,同时解码性能与 BF16 缓存的差距仍保持在 1% 至 3% 以内。同一项改动已在上游提议中提出: vllm-project/vllm#54013.
在 Blackwell 上训练和部署 Sarvam 105B
我们将 Sarvam 的训练栈迁移至 NVIDIA B200 GPU 及其 MXFP8 格式。Sarvam 105B 的预训练吞吐量翻了一番,MFU 从 19% 提升至 38%。在奖励相同的情况下,每个强化学习步骤的运行速度提高到 1.79 倍。我们以 NVFP4 格式部署该模型,并搭配 DSpark 草稿模型,每张 B200 的解码吞吐量最高可达 6,067 tokens/s。在此过程中,我们发现块缩放注意力可能会将未来 token 的信息泄漏到过去的输出中,因此构建了一个能够防止这种问题的 MXFP8 注意力内核。
预训练
我们的 MXFP8 方案使用 64 张 B200,以 8K 上下文和 256 个序列的全局批次训练 Sarvam 105B,每张 GPU 达到 857 TFLOP/s(10.9K tokens/s),相比初始时的 428 TFLOP/s(5.5K tokens/s)显著提升(图 8a)。作为对比,NVIDIA 的 Megatron Bridge 数据 显示,B200 上的 MoE 模型中,DeepSeek-V3 使用 256 张 GPU 可达到 725 TFLOP/s,Qwen3-30B-A3B 使用 8 张 GPU 可达到 614 TFLOP/s;二者均采用 MXFP8 和 4K 上下文。
B200 上的预训练吞吐量与 MFU
a. B200 上的吞吐量与 NVIDIA 已发布方案的对比
b. Sarvam 105B 长上下文持续预训练,BF16
B200 上的预训练吞吐量与 MFU。Sarvam MXFP8 方案在每张 B200 上达到 857 TFLOP/s(38.1% MFU);长上下文训练的 MFU 从 7.6% 提升至 24.3%。
| 面板 | 运行项 | 配置 | 每张 GPU 的 TFLOP/s | MFU(%) |
|---|---|---|---|---|
| a | Sarvam MXFP8 方案 | 8K 上下文,64 张 GPU | 857 | 38.1 |
| a | NVIDIA 参考:DeepSeek-V3 | MXFP8,4K,256 张 GPU | 725 | 32.2 |
| a | NVIDIA 参考:Qwen3-30B-A3B | MXFP8,4K,8 张 GPU | 614 | 27.3 |
| a | Sarvam 105B 长上下文持续预训练 | BF16,160K,512 张 GPU | 547 | 24.3 |
| a | Sarvam MXFP8 初始方案 | 8K 上下文,64 张 GPU | 428 | 19.0 |
| a | NVIDIA 参考:GPT-OSS-120B | BF16,4K,64 张 GPU | 373 | 16.6 |
| b | H100 方案 | 32K 上下文 | 7.6 | |
| b | ETP = 1 | 32K 上下文 | 21.6 | |
| b | 减少重新计算 | 32K 上下文 | 24.0 | |
| b | 减少日志记录 | 32K 上下文 | 24.9 | |
| b | HybridEP | 32K 上下文 | 26.7 | |
| b | 128K | 更长上下文 | 24.1 | |
| b | 160K,16 个节点 | 更长上下文 | 26.2 | |
| b | 160K,64 个节点 | 更长上下文 | 24.3 |
MXFP8 起初比 BF16 更慢。 MXFP8 只能加速矩阵乘法(GEMM),无法加速其他操作。每个 GEMM 输入都必须先量化,并分别为前向和反向传播转换成两种布局;每个微批次还需重新构建激活值和梯度副本。微批次较小时,启动这些内核的开销与 GEMM 节省的时间相当。表 4 中的每项改动都让训练步骤中更大比例的工作由 GEMM 完成。
表 4:MXFP8 预训练方案的改动
| 改动 | 为何有效 |
|---|---|
| 对路由器和 token 预处理使用 CUDA 图 | 许多小型内核可通过一次 CUDA 图启动统一重放。专家计算仍留在图外,因为每个专家处理的 token 数量在每一步都会变化。 |
| 将 token 排列融合进 HybridEP 分发,并使用融合的 CuTe DSL 专家 MLP | 消除了 GEMM 之间受内存带宽限制的处理过程和中间张量。 |
| 将释放出的内存用于把张量并行度从 8 降至 1 | 每个 GEMM 的规模扩大至 8 倍,同时每层不再需要两次 TP 集合通信。 |
| 将专家全对全通信与延迟执行的权重梯度 GEMM 重叠 | 用下游无需等待的计算掩盖专家通信开销。 |
| 采用 BF16 梯度缓冲区和更大的分桶,并以 FP32 执行归约 | 将数据并行流量减半,并减少小型集合通信的次数。 |
Sarvam 105B 在 B200 上以 8K 上下文运行的混合精度预训练方案
428 → 857 TFLOP/s
每张 GPU 的性能,从初始方案到最终方案(+100%)
5.5K → 10.9K tokens/s
使用 64 张 B200、8K 上下文时每张 GPU 的吞吐量
Sarvam 105B 在 B200 上以 8K 上下文运行的混合精度预训练方案。BF16 基线:428。+ 批处理/内存:475。+ MXFP8:572。+ 执行调优:666。+ BF16 梯度:721。+ EP 通信重叠:763。+ TP1/MBS1:806。+ CuTeDSL:857。
| 方案版本 | 详情 | 每张 GPU 的 TFLOP/s |
|---|---|---|
| BF16 基线 | TP8/MBS4 | 428 |
| + 批处理/内存 | TP8/MBS8 | 475 |
| + MXFP8 | 线性运算 | 572 |
| + 执行调优 | TP2/MBS2 | 666 |
| + BF16 梯度 | 传输 + 分桶 | 721 |
| + EP 通信重叠 | + 延迟执行权重梯度 | 763 |
| + TP1/MBS1 | 采用重叠执行 | 806 |
| + CuTeDSL | MLP 融合 | 857 |
我们逐项加入这些改动,并且只有在大约 1,000 个步骤的运行显示吞吐量有所提高时,才会保留相应改动(图 9)。各个变体由编程智能体实现并启动运行。
长上下文。 我们使用 512 张 B200,以 BF16 在 330B tokens 上继续预训练了略多于七天,将 Sarvam 105B 的上下文长度扩展至 160K tokens。调优使 MFU 从 7.6% 提升到 24.3%(图 8b)。其中两项改动最为关键。与 H100 方案将每个专家拆分到 8 张 GPU 上不同,让每个专家完整保留在一张 GPU 上,使 MFU 提升至 21.6%;拆分方案产生的 256 维 GEMM 太小,无法让 B200 保持忙碌。在反向传播中,重新计算 MLA 的上投影而非核心注意力,使 MFU 达到 23.6%,而后者为 18.0%,因为重新计算注意力需要 O(L²) 的计算量,却只能节省 O(L) 的内存。我们还在流水线并行之前加入上下文并行:其通信可隐藏在注意力计算之下,而流水线气泡不会随着上下文增长而缩小。
数值精度。 部分线性层 GEMM 使用 MXFP8 运行,主权重和梯度累积保持 FP32,Adam 动量则以 BF16 存储。我们保留 FP32 累积,是因为 BF16 的累积误差会随微批次数量增加而增大。我们在从 Sarvam 105B 架构缩放而来的七种模型规模上,将该方案与 BF16 基线进行了比较,参数量从 0.65B 到 69.5B,训练预算最高为 8B tokens。在最大规模下,验证损失与基线接近;较小模型对 BF16 Adam 动量更为敏感。
强化学习
我们的 RL 技术栈是 NVIDIA NeMo RL 的一个分支。它使用 vLLM 生成 rollout,并使用 Megatron 训练,因此 vLLM 推理越快,RL 也就越快。我们分三个阶段进行了加速:先优化 vLLM 中的推理,再优化 RL 运行,最后优化训练器。
加速 vLLM 推理
内核。 我们为 Sarvam 的 MLA 注意力启用了 torch.compile,并补齐默认路由字段,使 vLLM 使用 FlashInfer 的 TRT-LLM MoE 内核。在两张 B200 上以 BF16 运行、批大小从 1 到 128 时,解码速度提高到 1.26 至 1.73 倍,预填充速度提高到 1.32 至 1.34 倍。
推测解码。 我们使用下文“推理”部分所述的 DSpark 草稿模型生成 rollout。
MXFP8。 我们将模型和草稿模型量化为 MXFP8,使二者能够装入一张 B200,并使用 FP8 KV 缓存。与 BF16 相比,准确率没有下降。
将其引入 RL
我们在一项指令遵循任务上,使用 Sarvam 105B 的异步 GRPO 测量了这些改进的收益。该运行使用 32 张 B200,其中一半用于生成,另一半用于训练;每个步骤生成 1,024 个 rollout,平均长度为 10.4K tokens;训练器可以使用最多落后当前策略三个版本的 rollout 进行学习。在 BF16 下,每个步骤耗时 758 秒,其中 437 秒用于等待 rollout。
MXFP8。 模型可装入一张 B200,而不再需要两张,因此同样的 16 张 GPU 可以运行 16 个生成引擎,而不是 8 个。生成吞吐量提升至 1.53 倍,步骤耗时降至 561 秒。注意力、MoE 路由器、共享专家以及第一层的 MLP 仍使用 BF16。
推测解码。 使用 3 个草稿 token、接受率为 67% 时,生成速度进一步提升至 1.73 倍,达到 33.4K tokens/s,步骤耗时为 420 至 440 秒。生成速度总体提升至 2.65 倍,但步骤速度仅提升至 1.79 倍,因为训练时间没有变化。我们的推理工作进程通常同时处理 32 至 64 个请求,在这一并发范围内,DSpark 大幅缩短了端到端延迟。使用 GRPO 时,一个步骤必须等到最慢的 rollout 完成才能结束,因此更低的延迟有助于消除拖慢训练的长尾任务。
训练期间,草稿模型的接受率保持稳定。 我们原本预计,随着策略逐渐偏离草稿模型训练时所依据的模型,草稿模型的接受长度会在 RL 期间急剧下降。但事实并非如此:经过 1,000 多个 RL 步骤后,DSpark 草稿模型仍保持了其接受长度。
准确率。 MXFP8 使生成器与训练器之间的 KL 散度从 0.030 上升到 0.041。推测解码没有额外增加散度,因为验证过程保留了完整模型的输出分布。截断重要性采样会校正剩余的偏移。BF16 的平均奖励为 0.759,使用 MXFP8 时为 0.755,同时采用两项改动时为 0.759。
消除训练器的空闲时间
每个 GRPO 步骤都会等待 rollout、计算对数概率、准备批次、进行训练,并将追踪数据写入磁盘。只有批次准备和训练必须阻塞,因此我们将其余工作移出了关键路径:
- 等待期间计算对数概率。 权重只会在训练期间发生变化,因此我们会在每组 rollout 到达时计算其对数概率。
- 在后台写入追踪数据。 追踪数据原本由训练线程以 JSON Lines 格式写入:在 64K 上下文下,每个步骤会写入 3.5 GB 数据,并造成 86.6 秒的停顿。改为由后台线程写入压缩 Parquet 后,体积缩小至原来的 1/16,阻塞时间约为 0.3 秒。
- 无需暂停的验证。 我们从 16 个生成引擎中调出 2 个用于验证,并将它们冻结在该步骤的权重上。在 31 个步骤中,这将总耗时从 210.7 分钟缩短至 180.8 分钟,使训练器不再有空闲时间,并让每个验证分数都对应一个明确的策略版本。
我们已将这些 vLLM 改动贡献至上游: 面向 Sarvam MLA 的 torch.compile, 路由默认值 ,以使用 FlashInfer 的 TRT-LLM MoE 内核; EAGLE3 支持 以及 跨流水线阶段的推测解码.
智能体 RL 优化
智能体 RL 增加了一个在沙箱中运行工具和代码的执行框架。通过在持久化的执行框架工作进程中预加载共享依赖,并为每个 rollout 派生一个控制器,我们将 1,024 个并发 rollout 的启动时间中位数从 139 秒降至 11.5 秒。自适应速率限制可平滑沙箱请求的突发流量。推理加速后,耗时较长的工具调用成为瓶颈,因此我们协同调整了 rollout 超时、离策略陈旧度、批大小,以及 GPU 在生成与训练之间的分配比例。
推理
我们将 Sarvam-105B-1711 量化为 NVFP4,并搭配 DSpark 草稿模型提供服务。表 5 对比了 BF16 和 NVFP4 检查点在图 1 所列基准测试上的表现。
推测解码。 我们为 Sarvam 105B 训练了一个 DSpark 草稿模型,并添加了其所需的 vLLM 接口。草稿模型会提出若干 token,完整模型则通过一次前向传播对其进行检查。与不使用 DSpark 相比,这可显著加快推理速度,同时不降低准确率。在一张 B200 上使用 NVFP4 检查点时,从 1 到 128 个并发请求的所有负载下,DSpark 都能使每位用户的解码速度提升至 2.0 至 2.6 倍,并使总吞吐量提高至 1.9 至 2.4 倍(图 10)。
B200 上使用和不使用 DSpark 时的每用户解码速度
Sarvam-105B-1711,NVFP4,使用 DSpark;Sarvam-105B-1711,NVFP4,不使用 DSparkB200 上使用和不使用 DSpark 时的每用户解码速度。1 个并发请求:使用时为 642,不使用时为 245(2.6×)。8 个并发请求:使用时为 310,不使用时为 145(2.1×)。16 个并发请求:使用时为 254,不使用时为 114(2.2×)。32 个并发请求:使用时为 182,不使用时为 81(2.2×)。64 个并发请求:使用时为 127,不使用时为 60(2.1×)。128 个并发请求:使用时为 85,不使用时为 42(2.0×)。
| 并发请求数 | 使用 DSpark(每用户 tok/s) | 不使用 DSpark(每用户 tok/s) | 加速倍数 |
|---|---|---|---|
| 1 | 642 | 245 | 2.6× |
| 8 | 310 | 145 | 2.1× |
| 16 | 254 | 114 | 2.2× |
| 32 | 182 | 81 | 2.2× |
| 64 | 127 | 60 | 2.1× |
| 128 | 85 | 42 | 2.0× |
量化内容。 Sarvam 105B 有 31 个 MoE 层,每层包含 128 个路由专家,而这些专家承载了大部分参数。我们以 NVFP4 格式存储它们:数值采用 4 位表示,每 16 个数值对应一个 FP8 缩放因子,每个张量对应一个 FP32 缩放因子。运行时,它们的输入激活也以相同方式量化。注意力层、第一层的稠密 MLP 和共享专家采用 MXFP8。路由器和输出头则保留 BF16。
校准。 4 位激活需要为每一层设置固定缩放因子。我们从模型自身生成的对话中提取这些因子,涵盖开启和关闭思考两种情况。每个路由专家都接收到了校准 token。
内存。 该检查点大小为 65 GB,而 MXFP8 和 BF16 检查点分别为 111 GB 和 198 GB。在一张 B200 上,这可为 FP8 KV 缓存留出容纳 304 万个 token 的空间,足以支持 23 个完整 128K 上下文的请求。
服务栈。 我们使用 llm-compressor 生成检查点,并通过 vLLM 0.33.0 提供服务;vLLM 会从配置中读取 MXFP8 与 NVFP4 的混合布局,并使用 FlashInfer 的 TRT-LLM NVFP4 MoE 内核。DSpark 草稿模型采用 MXFP8,并随同一代码仓库发布。NVFP4 需要 Blackwell 的 FP4 张量核心。
表 5:会话智能体基准测试中的 BF16 与 NVFP4 检查点
| 基准测试 | Sarvam-105B-1711 BF16 | Sarvam-105B-1711 NVFP4 |
|---|---|---|
| IFBench | 82.5 | 81.8 |
| MultiChallenge | 62.2 | 62.5 |
| Advanced-IF | 60.9 | 59.5 |
| WritingBench | 8.65 | 8.66 |
| Arena-Hard v2,综合得分 | 76.6 | 75.3 |
| Tau2 平均分 | 85.5 | 84.1 |
| BFCL v4 综合得分 | 62.4 | 62.7 |
| Indic 测试套件 | 79.1 | 78.8 |
在开启思考的留出数据上,搭配 DSpark 的 NVFP4 检查点处理单个请求时,解码速度为 666 token/s。在 64 个并发请求下,每张 GPU 的解码吞吐量达到 6,067 token/s,约为我们 BF16 配置的 2.1 倍、MXFP8 配置的 1.2 倍,以及搭配 MTP 的 MXFP8 Gemma 4 31B 的 2.0 倍(图 11)。我们将权重和激活都量化为 4 位(W4A4),因为 vLLM 会通过 FlashInfer 的 TRT-LLM NVFP4 内核运行该格式。如果采用 4 位权重和 16 位激活,则会回退到速度较慢的 Marlin 内核,每张 GPU 的吞吐量将降至 3,043 token/s,低于 MXFP8。
B200 上的服务吞吐量
a. 吞吐量与每用户解码速度的关系
Sarvam-105B-1711,NVFP4 + DSpark;Sarvam-105B-1711,MXFP8 + DSpark;Sarvam-105B-1711,BF16 + DSpark;Gemma 4 31B,MXFP8 + MTP;Gemma 4 31B,BF16 + MTPb. 64 个并发请求下的吞吐量
B200 上的服务吞吐量。在 64 个并发请求下:Sarvam-105B-1711,NVFP4 + DSpark 为 6,067;Sarvam-105B-1711,MXFP8 + DSpark 为 5,073;Gemma 4 31B,MXFP8 + MTP 为 2,994;Sarvam-105B-1711,BF16 + DSpark 为 2,888;Gemma 4 31B,BF16 + MTP 为每张 GPU 每秒 1,809 个 token。
| 配置 | 并发请求数 | 每用户(tok/s) | 每张 GPU(tok/s) |
|---|---|---|---|
| Sarvam-105B-1711,NVFP4 + DSpark | 1 | 666 | 609 |
| Sarvam-105B-1711,NVFP4 + DSpark | 8 | 321 | 2,124 |
| Sarvam-105B-1711,NVFP4 + DSpark | 16 | 245 | 2,954 |
| Sarvam-105B-1711,NVFP4 + DSpark | 32 | 173 | 4,484 |
| Sarvam-105B-1711,NVFP4 + DSpark | 64 | 121 | 6,067 |
| Sarvam-105B-1711,MXFP8 + DSpark | 1 | 534 | 515 |
| Sarvam-105B-1711,MXFP8 + DSpark | 8 | 243 | 1,668 |
| Sarvam-105B-1711,MXFP8 + DSpark | 16 | 195 | 2,479 |
| Sarvam-105B-1711,MXFP8 + DSpark | 32 | 147 | 3,576 |
| Sarvam-105B-1711,MXFP8 + DSpark | 64 | 113 | 5,073 |
| Sarvam-105B-1711,BF16 + DSpark | 1 | 577 | 274 |
| Sarvam-105B-1711,BF16 + DSpark | 8 | 259 | 902 |
| Sarvam-105B-1711,BF16 + DSpark | 16 | 214 | 1,301 |
| Sarvam-105B-1711,BF16 + DSpark | 32 | 169 | 2,207 |
| Sarvam-105B-1711,BF16 + DSpark | 64 | 128 | 2,888 |
| Gemma 4 31B,MXFP8 + MTP | 1 | 307 | 288 |
| Gemma 4 31B,MXFP8 + MTP | 8 | 232 | 1,444 |
| Gemma 4 31B,MXFP8 + MTP | 16 | 184 | 2,138 |
| Gemma 4 31B,MXFP8 + MTP | 32 | 119 | 2,778 |
| Gemma 4 31B,MXFP8 + MTP | 64 | 67 | 2,994 |
| Gemma 4 31B,BF16 + MTP | 1 | 320 | 150 |
| Gemma 4 31B,BF16 + MTP | 8 | 250 | 689 |
| Gemma 4 31B,BF16 + MTP | 16 | 199 | 1,148 |
| Gemma 4 31B,BF16 + MTP | 32 | 131 | 1,477 |
| Gemma 4 31B,BF16 + MTP | 64 | 77 | 1,809 |
这让我们能够以低得多的成本提供 Sarvam-105B-1711 服务。它在会话智能体基准测试中的平均成绩与 Gemini 3.5 Flash-Lite 持平,而成本不到 Google 标价的五分之一。
该技术栈的每个部分都可沿用到更大的模型:以 38% MFU 进行 MXFP8 预训练;在 512 张 B200 上以 24.3% MFU 进行长上下文训练;在奖励相同的情况下,RL 步骤速度提高至 1.79 倍;以及以每张 B200 每秒解码 6,067 个 token 的速度提供 NVFP4 服务。我们现在已准备好训练大得多的模型。
开始使用 Sarvam-105B-1711
使用 API。 Sarvam-105B-1711 已在 Sarvam Token Factory 上线。在 控制面板 上创建 API 密钥,即可立即开始发送请求。
自行运行。 我们已在 sarvamai/sarvam-105b-1711开源 NVFP4 权重。这正是我们在 Sarvam Token Factory 上提供服务的模型。包括 DSpark 推测解码在内的高效推理支持已合并至 vLLM,模型卡中列出了我们在生产环境中使用的托管设置。
进一步训练。 对于希望微调或后训练该模型的用户,我们还在 sarvamai/sarvam-105b-1711-bf16发布了 BF16 权重。后训练支持已合并至 NeMo RL,因此你现在就可以启动强化学习任务,包括使用 FP8。
AI 热点