2026年11月3日·阅读时长8分钟今天我们发布 Sarvam Prism，这是一个基于 Sarvam 105B 构建的 System One 决策模型。
Typeface 上个月开创了这一类别，并以卡尼曼的 System One 思维为其 Jev 模型命名——这是一种快速而直觉的判断模式，人们一天中的大多数决定都由它来处理。企业中的大量工作正是由一连串这样的决策构成，而经过良好校准的决策模型恰好能无缝融入这些工作流程。
业界领先的准确率与速度： 在我们测试的 25 个决策模型中，Prism 在准确率与速度的帕累托前沿上树立了新的标杆。该模型得分为 71.8，而在 B200 GPU 上的响应时间仅为 44 毫秒，是我们测试的 25 个模型中 100 毫秒以内得分最高的模型（按三项指数取平均）。我们相信 System One 模型会随规模提升而改进，并能从混合专家架构的权衡中获益，因此 Prism 基于 Sarvam 105B-10B 基座训练。
企业可以信赖的校准： 企业要实现工作流程自动化，就必须信任模型对其输出所给出的置信度。Prism 的误差始终落在其置信区间之内，而且其答案不受选项呈现顺序的影响。
打造属于你自己的模型： 每个企业都有自己做出决策的方式，这由其数据以及这些决策的结果所塑造。我们以开放权重的方式发布 Prism，以便企业能在这一经过校准的基座上用自己的数据训练，并在自己的基础设施上运行。
准确且快速
我们在相同的基准上，亲自用三项指数对 Prism 及其他 24 个决策模型进行了测试。对于所有能在相同硬件（B200）上运行的模型，我们都使用其自带的推理代码进行了计时。
准确且快速
三项指数平均得分与中位响应时间对比，25 个决策模型
- Sarvam Prism
- 由我们计时
- 仅提供 API（报告时间）
- 各响应时间下的最佳得分
Sarvam Prism：71.8 分，44 毫秒
| 模型 | 平均 | Jev | Artificial Analysis | 印度语言 | 响应时间（毫秒） |
|---|---|---|---|---|---|
| mammoth-1 | 75.2 | 75.3 | 70.2 | 80.1 | 284 |
| GLiDE 1.2 | 73.2 | 72.0 | 68.1 | 79.4 | 116 |
| Sarvam Prism | 71.8 | 67.0 | 65.9 | 82.5 | 44 |
| elephant-1 | 71.3 | 72.2 | 67.6 | 74.0 | 145 |
| StartLux-27B | 70.8 | 72.9 | 61.5 | 78.1 | 117 |
| KnowLine-35B | 70.8 | 70.7 | 59.2 | 82.6 | 50 |
| d3-ultra | 70.3 | 71.6 | 62.8 | 76.4 | 229 |
| KnowLine-26B | 69.1 | 68.2 | 57.6 | 81.4 | 63 |
| AutoTrust-JEV-27B | 68.5 | 67.3 | 60.7 | 77.6 | 72 |
| OneJev-27B | 68.4 | 69.6 | 58.3 | 77.2 | 27 |
| H2O-Lightning-31B | 68.2 | 67.9 | 59.9 | 76.7 | 46 |
| Perplexity Decider v1.2 | 68.0 | 67.7 | 61.2 | 75.0 | 117 |
| d3 | 66.9 | 65.5 | 60.3 | 75.0 | 115 |
| Torchcast-27B | 66.5 | 65.1 | 59.6 | 74.8 | 32 |
| StartLux-9B | 66.2 | 70.0 | 58.8 | 69.8 | 60 |
| VisionJEV | 65.3 | 66.4 | 57.3 | 72.3 | 117 |
| Jev 1.14 | 64.5 | 60.7 | 61.9 | 70.8 | 196* |
| Amos 1 large | 63.4 | 64.9 | 55.5 | 69.7 | 121 |
| StartLux-4B | 63.3 | 67.8 | 58.4 | 63.7 | 60 |
| KnowLine-4B | 63.1 | 66.8 | 57.0 | 65.6 | 43 |
| OneJev-9B | 62.8 | 65.3 | 53.4 | 69.6 | 10 |
| Clef | 62.6 | 61.7 | 54.8 | 71.2 | 222 |
| Microsoft-Decision-1 | 61.1 | 57.8 | 55.6 | 70.0 | 85* |
| Perplexity Decider Flash | 60.3 | 60.1 | 58.4 | 62.4 | 62 |
| Clef-Flash | 58.1 | 56.2 | 52.1 | 66.0 | 162 |
越靠左上越好。响应时间为在单块 NVIDIA B200 GPU 上每次请求的中位数。
各指数得分
各指数及其平均值，附中位响应时间（越高越好）
- Sarvam Prism（44 毫秒）
- Perplexity Decider v1.2（117 毫秒）
- Jev 1.14（196 毫秒*）
- Clef（222 毫秒）
- Microsoft-Decision-1（85 毫秒*）
| 指数 | Sarvam Prism | Perplexity Decider v1.2 | Jev 1.14 | Clef | Microsoft-Decision-1 |
|---|---|---|---|---|---|
| Jev 决策指数 | 67.0 | 67.7 | 60.7 | 61.7 | 57.8 |
| Artificial Analysis（我们自建） | 65.9 | 61.2 | 61.9 | 54.8 | 55.6 |
| 印度语言 | 82.5 | 75.0 | 70.8 | 71.2 | 70.0 |
| 平均 | 71.8 | 68.0 | 64.5 | 62.6 | 61.1 |
* 公开报告的响应时间；这些模型仅提供 API。
该得分是三项指数的平均值。第一项是 Jev 决策指数，包含 37 个公开基准。第二项是我们对 Artificial Analysis 决策指数的复现，其中我们将其私有知识测试替换为精心挑选的难题，并包含一个“我不知道”选项。第三项是内部的印度语言基准。响应时间是对 1000 次逐一发送的请求取中位数，每个模型均运行其开发者自己的推理代码。Jev 1.14 和 Microsoft-Decision-1 仅通过 API 提供，因此我们标绘的是其报告时间（196 毫秒和 85 毫秒）。从我们的集群实测，它们分别耗时 431 毫秒和 533 毫秒。
在 100 毫秒以内作答的所有模型中，Prism 的平均得分最高。有几个模型的总体得分更高，但它们的响应时间要长两到六倍。Prism 最强的结果出现在我们复现的 Artificial Analysis 难题上——由于其决策经过校准，模型会因回答“我不知道”而非猜测而获得奖励。在印度语言方面，它的表现与我们测试的最佳模型相当或更好。
值得信赖的置信度
企业实现决策自动化的方式是仅在置信度高于某一阈值时才采取行动。只有当输出的置信度经过校准——即其错误率应低于模型的预期错误率——这样做才是安全的。我们在 Jev 决策指数的公开基准和我们内部的印度语言基准上评估了校准情况。
值得信赖的置信度
以至少 90% 置信度给出的答案的预期错误与实际错误（越低越好）
- 模型预期的错误
- 实际：Sarvam Prism
- 实际：不超过预期
- 实际：高于预期（×N）
| 模型 | 英语：预期 | 英语：实际 | 印度语言：预期 | 印度语言：实际 |
|---|---|---|---|---|
| Sarvam Prism | 3.3% | 2.2% | 5.4% | 4.4% |
| Clef | 2.8% | 2.3% | 3.9% | 15.3% |
| Perplexity Decider | 1.4% | 2.0% | 3.0% | 8.1% |
| Microsoft-Decision-1 | 1.7% | 3.1% | 3.0% | 10.1% |
| Jev 1.14 | 1.3% | 3.5% | 3.4% | 16.1% |
英语：37个公开基准，226,088道题。印度语言：同样的基准在10种印度语言和印地英语（Hinglish）下的版本，20,108道题。
在我们测试的从50%到95%的每一个阈值上，无论英语还是印度语言，Prism的实际错误都少于其置信度分数所预测的错误。 对于置信度在90%或以上的英语答案，Prism预测错误率为3.3%，实际错误率为2.2%。Clef与之接近，预测2.8%，实际2.3%。Perplexity Decider、Microsoft-Decision-1和Jev 1.14分别将自身错误低估了1.5倍、1.8倍和2.7倍。
在印度语言方面，Prism预测错误率为5.4%，实际错误率为4.4%。其他模型的实际错误率是其置信度分数所预测的2.7到4.8倍。
同一答案，任意顺序
改变选项顺序可能会改变模型的答案。我们在2,000道题上测试了Prism是否会出现这种情况。我们将这些题目在打乱选项的情况下运行四次，在未打乱的情况下运行四次。Prism的答案在每一次打乱中都保持不变，且没有额外的计算开销，也没有准确率损失。
同一答案，任意顺序
2,000道题中答案发生变化的题目占比（越低越好）
- 选项被打乱为四种顺序
- 同一请求重复发送四次
- Sarvam Prism
| 模型 | 打乱顺序 | 95%区间 | 重复发送 |
|---|---|---|---|
| Sarvam Prism，固定顺序 | 0.0% | 0至0.2% | 0.0% |
| Clef | 0.1% | 0至0.4% | 0.0% |
| Sarvam Prism，按发送顺序排列选项 | 4.0% | 3.3至5% | 0.0% |
| Microsoft-Decision-1 | 4.8% | 3.9至5.8% | 4.8% |
| mammoth-1 | 8.8% | 7.6至10.1% | 0.0% |
| GLiDE 1.2 | 8.9% | 7.7至10.2% | 0.0% |
| Perplexity Decider v1.2 | 10.3% | 9至11.7% | 0.0% |
| Jev 1.14 | 12.3% | 11至13.9% | 5.6% |
Perplexity Decider、GLiDE 1.2和mammoth-1对同一请求给出相同答案，但当选项被打乱时，它们有9%至10%的答案会发生变化。Jev 1.14在没有任何变化时有5.6%的答案发生变化，在打乱时有12.3%的答案发生变化。Prism按发送顺序读取选项，对同一请求给出相同答案，在打乱时有4.0%的答案发生变化。Prism通过在评分前将选项放入一个固定顺序（无论它们以何种顺序到达），并以原始选项名称返回每个概率，从而弥合了这一差距。经过这一步，它在2,000道题中有0道题的答案发生变化。
我们已在真实场景中测试了Prism，例如语音到语音测试框架、轨迹评估、提示注入防护、客户支持意图路由、模型路由和文档智能。
我们正在分享一些早期基准测试结果，并将在未来陆续发布更多。
智能体轨迹评估
智能体的工作需要核查，既要判断任务是否成功，也要判断该次运行是否需要人工复核。我们使用了三组已记录的运行数据。AgentRewardBench包含在AssistantBench、VisualWebArena、WebArena和WorkArena上的网页智能体运行记录，由专家标注。τ-bench包含客户服务对话，按任务是否完成进行标注。Who&When和TRAIL包含失败的运行记录，标注了出错的步骤和负责的智能体。所有五个模型都在相同的700次运行（1,770道题）上进行了评分。
每个答案都与已知的正确标签进行核对，绝不依赖另一个AI模型的判断。对于任务是否成功或是否需要复核，标签来自审阅了每次网页智能体运行的人类专家（AgentRewardBench），或来自环境对最终结果的自动检查（τ-bench）。对于哪个智能体导致了失败，人工标注者在每次失败的运行中标记了负责的智能体（Who&When、TRAIL）。
评判智能体运行
评判700次已记录智能体运行的准确率（越高越好）
- Sarvam Prism
- Clef
- Jev 1.14
- Microsoft-Decision-1
- Claude Haiku 5.5
| 问题 | Sarvam Prism | Clef | Jev 1.14 | Microsoft-Decision-1 | Claude Haiku 5.5 |
|---|---|---|---|---|---|
| 任务是否成功？ | 75.0% | 71.6% | 71.8% | 71.3% | 66.0% |
| 该次运行是否需要人工复核？ | 86.4% | 80.4% | 81.9% | 83.4% | 77.9% |
| 哪个智能体导致了失败？ | 69.6% | 60.9% | 65.2% | 45.7% | 37.0% |
| 所有问题 | 78.5% | 76.4% | 76.4% | 75.7% | 70.7% |
“所有问题”还包括重复循环、副作用、运行首次出错的步骤以及错误类型。
Prism在单块GPU上评判一次完整的智能体运行大约需要半秒。它读取一次轨迹，并同时评判全部五个问题。通过API调用的Claude Haiku 5.5每次运行的中位耗时为2.5秒，每1,000次运行的成本为0.64美元。这使得Prism成为更快、更便宜的替代方案。Prism每道题还可处理多达131,072个token，因此长轨迹可以一次性评估，而无需分块。
智能体安全防护
该测试使用一个包含九类任务、共5,517道题的内部基准，题目基于2026年7月以来公布的漏洞构建。模型需要判断某个工件是否属于钓鱼活动的一部分、传入的提示是否试图越狱，并将攻击类型归类到MITRE框架中。
我们将在未来几周内扩充该评估集并公开发布。
安全决策
在我们内部网络安全基准（5,517道题）上的准确率（越高越好）
Sarvam Prism89.0%Clef84.5%Jev 1.1478.6%Microsoft-Decision-176.1%50%60%70%80%90%100%准确率（%），坐标轴从50%开始| 模型 | 准确率 |
|---|---|
| Sarvam Prism | 89.0% |
| Clef | 84.5% |
| Jev 1.14 | 78.6% |
| Microsoft-Decision-1 | 76.1% |
Prism 得分为 89.0%，领先于 Clef（84.5%）、Jev 1.14（78.6%）和 Microsoft-Decision-1（76.1%）。
工作原理
Prism 是 Sarvam 105B 的 LoRA 微调版本。它以状态、问题和选项作为输入，并在单次前向传播中处理它们。一个小型评分头为每个选项返回一个概率，无需逐 token 生成。
训练目标
Prism通过两个等权重的损失项学习选项上的概率分布。第一个是带5%标签平滑的交叉熵，它抑制完全确定性。第二个是Brier损失，它衡量概率的平方误差，使自信的错误代价高昂。我们将Prism的校准归因于这两个训练选择。
注意力掩码
状态和问题构成一个双向读取的块。每个选项能看到该块和自身，但永远看不到其他选项，且每个选项都从相同位置开始。只有答案token能看到一切，选项正是在那里进行比较。隔离选项使每个判断相互独立。在块内双向读取在Jev决策指数上增加约3分。
各token间的注意力可见性
一个问题两个选项的三个注意力掩码
- 状态
- 问题
- 选项A
- 选项 B
- 答案
- 被屏蔽
行：执行读取的词。列：它能看到的词，按类别着色。S = 状态，Q = 问题，A 和 B = 两个选项，Ans = 答案 token。
中间到右侧：在 Jev 决策指数上约 +3 分。
状态和问题块是完全双向的，因此标准未掩码内核可以精确计算它。只有选项和答案行组成的细条需要自定义掩码。以这种方式拆分计算，使超过 2048 个 token 的请求的注意力速度提升 2.6 倍。FP8 使 Jev 决策指数得分变化了 0.01 分。总的来说，这些步骤使 Prism 的速度提升 15.1 倍。
一个注意力掩码，分两部分计算
Prism 针对一个问题两个选项的掩码
- 快速内核，无需掩码
- 掩码内核，仅这些行
- 分块
行：执行读取的词。列：它能看到的词。Q = 问题，A 和 B = 两个选项，Ans = 答案 token。
让它变快
Prism 最初每个中位请求耗时 664 毫秒，在两块 B200 GPU 上以 16 位精度运行。我们将权重转换为 FP8，使模型能装入单块 GPU，在一个分组内核中运行全部 128 个专家，将前向传播捕获为 CUDA Graph，把 FP8 转换折叠进专家内核，并将微调适配器合并到模型权重中。这些措施共同将中位请求时间降至 44 毫秒，比最初快 15 倍，且精度没有下降。
使用 Prism
Prism 的权重已发布在 Hugging Face 上，采用 Apache 2.0 许可证. Prism 以 FP8 精度在单块显存至少 120 GB 的 GPU 上运行。它也可通过 Sarvam API 在 Sarvam Indus上使用。每个请求接收一个状态、一个问题以及任意数量且能放入上下文窗口的选项，并为每个选项返回一个概率。文档可在 此处获取。.