今天我们推出第二代模型 Inkling 2 Small。它是一款混合专家(MoE)模型,总参数 594B,激活参数 17B,支持图像输入和可变推理强度。
Inkling 2 Small 在 Artificial Analysis Intelligence Index 上的得分达到 31,远超我们此前各模型的成绩,反映出其在智能体编码、视觉、知识工作和推理方面性能的提升。能力提升源于我们训练流程每一步的改进,包括更高效的预训练和一次大规模的统一强化学习运行。
Inkling 2 Small 初期将通过 Tinker 提供,权重闭源,遵循我们在 通往开放权重的安全路径中阐述的做法。我们计划在完成外部安全测试和红队评估后,于下周以 Apache 2.0 许可开放完整权重。
你今天就可以在 Tinker Playground 上试用 Inkling 2 Small。该模型也可在 Tinker 上进行微调和采样;随着 Inkling 2 Small 权重的发布,检查点将可供下载。
能力
Inkling 2 Small 在各方面都比我们的第一代模型更强,尤其是在长程自主工作方面。
Inkling 2 Small 的视觉和智能体能力使其能够利用视觉反馈,迭代构建和完善带有交互元素的网站、游戏和 3D 设计。
智能体编码与自动研究
Inkling 2 Small 通过强化学习在数十万个长程编码任务上训练,涵盖多种智能体框架和上下文压缩策略。我们提升了合成编码数据管线的质量,并超越了仅依赖单元测试奖励的做法;许多任务都包含一个智能体强化学习评分器,评估模型如何着手解决问题,而不仅仅是其代码是否通过。我们还在 OpenCode 上以 Fledge-Alpha 之名测试了 Inkling 2 Small 的早期检查点,以评估我们的模型在真实世界中编码任务上的表现。
结果是一个编码能力更强、在真实智能体循环中也更易使用的模型。相比 Inkling,Inkling 2 Small 在易用性上有所提升:它更好地遵循指令,审慎考虑改动,并会主动验证自己的工作。
| 编码与自动研究 | Inkling 2 Small | GLM-5.3-Flash | DeepSeek-V4.1-Flash-1017 | Muse Spark Open | Kimi K3 |
|---|---|---|---|---|---|
| FrontierCode v2.0 | 25.4%(该行报告的第二高分) | 14.2% | 28.5%(该行报告的最高分) | 7.6% | 17.3% |
| DeepSWE v1.1 | 72.1%(该行报告的第二高分) | 63.4% | 77.0%(该行报告的最高分) | 60.0% | 68.5% |
| SWEBench Pro v2(Hard) | 86.3%(该行报告的第二高分) | – | – | 82.4% | 88.2%(该行报告的最高分) |
| Vibe Code Bench v1.1 | 81.6% | 30.8% | 87.7%(该行报告的最高分) | 76.2% | 85.0%(该行报告的第二高分) |
| PostTrainBench v1.2 | 31.9%(该行报告的第二高分) | 36.8%(该行报告的最高分) | 30.5% | – | 31.5% |
| Terminal Bench Science v0.1 | 5.7% | 4.8% | 12.9%(该行报告的最高分) | 1.9% | 8.1%(该行报告的第二高分) |
内核优化(PMPP-Hard)
69 个任务 · 四次独立尝试 · 10 小时预算
GPT-6 Astra63Kimi K3.1 Pro60.5Claude Opus 5.560Kimi K355.75DeepSeek V4.1 Flash55.25Inkling 2 Small54.25GLM 5.352.5Mistral Large 450.25GLM 5.242平均解决任务数 / 69
将鼠标悬停在曲线上或选择模型以查看;再次选择可重置。聚焦某个模型后,使用 ← 和 → 逐步查看结果,或按 Escape 清除。
查看完整结果| 模型 | AUC(任务·小时) | 平均解决数 / 69 | Pass@4 / 69 |
|---|---|---|---|
| GPT-6 Astra | 616.39 | 63 | 63 |
| Kimi K3.1 Pro | 583.86 | 60.5 | 63 |
| Claude Opus 5.5 | 499.65 | 60 | 64 |
| DeepSeek V4.1 Flash | 497.36 | 55.25 | 62 |
| Inkling 2 Small | 494.27 | 54.25 | 64 |
| Mistral Large 4 | 478.39 | 50.25 | 61 |
| Kimi K3 | 453.58 | 55.75 | 66 |
| GLM 5.3 | 430.96 | 52.5 | 61 |
| GLM 5.2 | 389.12 | 42 | 61 |
各行按 AUC 排序:即 0–10 小时内平均曲线下的面积,最大值为 690 任务·小时。
每个模型均使用其可用的最高推理设置、PI 框架和共享的压缩策略。我们纳入了评估期间发现的任务和评分问题的修复。每个提交的解决方案都会接受两次独立的 LLM 审核,如有分歧则由第三次评审裁定。
除了常规软件任务,Inkling 2 Small 还在长程自动研究任务上接受了训练。这包括智能体 GPU 内核优化和机器学习任务,例如自主对模型进行后训练,所有这些都在多种 GPU 架构上运行。
初步内核自动研究结果
DeepSeek-V3.2 稀疏注意力,前向 + 反向
Claude Opus 5.5 · 18.80×GPT-6 Astra · 10.26×Inkling 2 Small · 6.02×DeepSeek V4.1 Flash · 5.66×GLM 5.3 · 5.03×Mistral Large 4 · 3.43×相对原始版本的加速比(×)
为展示其端到端自动研究性能,我们在一个任务上测试了 Inkling 2 Small Proximal ,该任务是为我们的一个内部基准测试构建的。Inkling 2 Small 在 Tinker 上自主训练 Qwen3.5-4B,以预测天气和维基百科页面浏览量等各种时间序列。它首先分析任务并编写自己的评估器,尝试不同的训练数据集和配方,并尝试各种 SFT 和 RL 方法,同时边做边调试过程。经过 4.5 小时的工作和 426 美元的 Tinker 花费,训练后的模型其预测得分提高了一倍以上。
视觉理解与创作
Inkling 2 Small 使用基于 Perception Encoder 的 292M 参数视觉编码器处理图像输入Bolya 等,2025.. 我们使用 20×20 像素的图块,采用 2×2 空间池化,并将图像图块与文本 token 交错排列。该模型在多个类别中展现出强大的视觉能力,包括 OCR、定位、信息图理解和视觉推理。
| 视觉推理与创作 | Inkling 2 Small | GLM-5.3-Flash | DeepSeek-V4.1-Flash-1017 | Muse Spark Open | Kimi K3 |
|---|---|---|---|---|---|
| GDP.pdf | 25.2%(本行报告的最高分) | 15.4% | 17.2% | 18.6% | 22.0%(本行报告的第二高分) |
| MMMU Pro(标准 10) | 81.6%(本行报告的最高分) | 79.0% | 80.6% | 80.9%(本行报告的第二高分) | 80.5% |
| PerceptionBench | 64.7%(本行报告的最高分) | – | 47.7% | – | 58.5%(本行报告的第二高分) |
| Humanity’s Sixth Sense | 33.3%(本行报告的最高分) | 26.8% | 30.1%(本行报告的第二高分) | 29.6% | 25.5% |
| ScreenSpot Pro原始 / 使用 Python | 83.8/91.5%(本行报告的最高分) | – | – | – | 73.8/83.2%(本行报告的第二高分) |
| BabyVision原始 / 使用 Python | 68.6/93.7%(本行报告的最高分) | 53.4/82.6%(本行报告的第二高分) | –/92.5% | 44.3/80.2% | 53.4/85.7%(本行报告的第二高分) |
| Charxiv RQ原始 / 使用 Python | 85.6/87.7%(本行报告的最高分) | 80.2/89.4% | 77.0/85.6% | 85.4/88.7%(本行报告的第二高分) | 84.8/91.3% |
| Chartography原始 / 使用 Python | 36.7/80.4%(本行报告的最高分) | 16.3/78.0% | 17.9/83.0% | 35.7/63.2%(本行报告的第二高分) | 26.6/68.1% |
| Code Arena(WebDev) | 1653 | 1607 | 1665(本行报告的最高分) | – | 1656(本行报告的第二高分) |
| AA-3D | 1021(本行报告的最高分) | 937 | – | – | 982(本行报告的第二高分) |
| Code2Video-AA | 1020(本行报告的第二高分) | 975 | – | – | 1041(本行报告的最高分) |
该模型在循环中使用视觉来理解和验证其生成的视觉编码输出。在权重发布之前,它将成为以下榜单上排名最高的开放权重模型: DesignArena.
DesignArena 网站分数
Muse Wonder(max)1,366Muse Spark 1.3(xhigh)1,351Inkling 2 Small1,340GPT-6 Astra(max)1,333Kimi K31,328Claude Opus 5.51,321Kimi K3.1 Pro1,320GPT-5.6 Sol(xhigh)1,314Gemini 4 Argon1,312Claude Sonnet 5.51,309DeepSeek-V4.1-Flash-10171,303MiMo-V2.6-Pro1,303Muse Spark Open(xhigh)1,296我们甚至在一场品酒活动中让 Inkling 2 Small 与我们的部分研究人员进行了测试。它仅凭视觉就胜过了他们,在 20 次试验中有 19 次仅凭一张图片正确识别出三款葡萄酒。

提示: 你正在参加一场盲品葡萄酒比赛。杯子从左到右标为 1 到 3。品种:99 赤霞珠、19 赤霞珠、23 内比奥罗
Inkling 2 Small: 这是我的解读——首先要郑重说明,在温暖的餐厅灯光下用手机照片判断颜色是不可靠的证据,所以请将此视为有根据的猜测,而非定论。
我的猜测:
1 号杯 = 2019 赤霞珠
2 号杯 = 1999 赤霞珠
3 号杯 = 2023 内比奥罗
理由:
- 3 号杯(右侧)显然是最浅、最通透的 ——明亮的樱桃红色,你可以透过杯身看到光线。内比奥罗作为红葡萄酒以颜色浅淡著称,即使在年轻时也是如此,因此 2023 年内比奥罗最为吻合。1999 年的赤霞珠在边缘可能会呈现更多砖红/橙色/黄褐色,而这一杯看起来更像鲜艳的宝石红-石榴红。
- 1号杯(左)颜色最深、最不透明, 核心近乎紫黑色。这是2019年的赤霞珠——经过七年,赤霞珠仍保有浓郁色泽和初级果香。
- 2号杯(中)介于两者之间: 依然深色,但比1号杯稍显通透,也略微更暗淡/偏石榴红。一瓶25年以上、储存得当的赤霞珠应该已褪去部分紫色和透明度,但尚未完全转为砖红色,因此它应归于此。
这一猜测的明显弱点在于:光线不均匀(左侧杯子靠近壁炉,处于较暗区域,使其颜色显得更深),而且储存良好的1999年酒在镜头下可能比实际看起来深得多。真正的判断依据是色调差异而非深浅——如果2号杯边缘呈橙/棕色,而1号杯边缘呈紫红色,那就能确认。
实际品尝时快速感官判别:
- 1999年赤霞珠: 三级香气——皮革、烟草、干黑醋栗、森林地表、雪松;单宁已柔化丝滑;果味完全软化,或许带有一丝褪去的果香。
- 2019年赤霞珠: 黑醋栗/石墨/雪松,单宁结构依然紧实,果味更新鲜,橡木味更明显。
- 2023年内比奥罗: 浅石榴红色,但酸度高、单宁紧涩收敛;红樱桃、玫瑰/紫罗兰、干香草、焦油气息——经典的“白葡萄酒颜色、马拉松选手口感”特征。
如果3号杯中的酒液颜色浅淡,但你的口腔感觉被单宁磨砂般收敛,那就是内比奥罗的铁证;如果口感柔和丰腴,则把3号杯和2号杯对调。祝比赛好运——如果猜对了,请回来揭晓答案。
智能体知识工作
Inkling 2 Small 在真实专业环境中加速知识工作。它能熟练查找信息、通过 MCP 调用工具,并产出高质量交付物。在端到端知识工作基准 AA-Briefcase 上,这些能力综合体现为 1527 的 ELO 分数。
| 知识工作与企业运营 | Inkling 2 Small | GLM-5.3-Flash | Muse Spark Open | DeepSeek-V4.1-Flash-1017 | Kimi K3 |
|---|---|---|---|---|---|
| AA-Briefcase v1.1 | 1527(该行报告的第二高分) | 1451 | 1279 | 1570(该行报告的最高分) | 1497 |
| GDPVal-AA v2.1 | 1630 | 1649(该行报告的第二高分) | 1401 | 1746(该行报告的最高分) | 1543 |
| JobBench | 70.5%(该行报告的最高分) | 60.7% | 61.8%(该行报告的第二高分) | – | 54.3% |
| Vals Legal Index | 73.9%(该行报告的最高分) | 71.1% | 68.5% | 71.9%(该行报告的第二高分) | 71.7% |
| EnterpriseBench-CoreCraft | 71.8%(该行报告的最高分) | 46.7%(该行报告的第二高分) | – | – | 43.1% |
Inkling 2 Small 在金融以及针对电子表格、申报文件和文档的定量推理方面尤为突出。在开放权重模型中,Inkling 2 Small 在 AA-AnalystAgent 和 Dayjob:Finance 上排名第一,在 Vals Finance Index 和 DiligenceBench 上排名第二。
| 金融工作 | Inkling 2 Small | GLM-5.3-Flash | Muse Spark Open | DeepSeek-V4.1-Flash-1017 | Kimi K3 |
|---|---|---|---|---|---|
| Vals Finance Index | 61.5%(该行报告的最高分) | 55.8% | 53.0% | 60.9%(该行报告的第二高分) | 58.0% |
| Diligence Bench最佳测试框架 | 58.1%(该行报告的第二高分) | – | 59.0%(该行报告的最高分) | 50.4% | – |
| DAYJOB(金融) | 14.3%(该行报告的最高分) | 7.3% | – | 12.5%(该行报告的第二高分) | 5.5% |
| Apex-Accounting v1.1pass@1 | 14.5%(该行报告的最高分) | 12.3% | 13.8%(该行报告的第二高分) | 12.5% | 9.5% |
可定制性
有些模型对微调的响应更好,这与其开箱即用的表现无关。我们希望 Inkling 2 Small 成为适合定制的强大基础模型。
在多种后训练场景中,使用相同的数据和算法训练时,Inkling 2 Small 比我们之前的模型学习更快、提升更多;这些场景是我们根据客户用例精心设计的。例如,在一个公开的金融文档摘要任务上,从相近的低分起步,Inkling 2 Small 能快速适应,仅用 75 个训练步骤就达到 Inkling Small 的最终性能,并最终大幅领先。
评估模型可微调性
推理、知识与认识论
Inkling 2 Small 在具有挑战性的 STEM 问题、指令遵循、有无网络搜索的信息检索以及预测任务上接受训练。在 RL 过程中,我们对预测任务使用适当的评分规则,并对某些问答任务使用对不确定性敏感的奖励。这训练模型评估不确定性、表达适当的置信度,并做出校准良好的预测。
| 长上下文推理与事实性 | Inkling 2 Small | GLM-5.3-Flash | Muse Spark Open | Mistral Large 4 | Kimi K3 |
|---|---|---|---|---|---|
| HLE-Diamond | 28.7%(该行报告的最高分) | 18.2% | 26.3% | 17.3% | 26.9%(该行报告的第二高分) |
| CritPt v2Full / Hard | 55.7/35.0%(该行报告的最高分) | –/24.5% | 52.6/29.5%(该行报告的第二高分) | 50.3/27.0% | –/40.5% |
| AA-LCR v1.1 | 83.3%(该行报告的第二高分) | 80.0% | 78.3% | – | 88.7%(该行报告的最高分) |
| LongBench v2 | 70.6%(该行报告的最高分) | 68.2% | 68.7% | 65.7% | 69.0%(该行报告的第二高分) |
| AA-Omniscience v1.1 得分 / 非幻觉率 | 16.1/73.3(该行报告的第二高分) | 0.7/– | 25.8/72.0(该行报告的最高分) | 5.1/71.8 | – |
安全与对齐
我们对 Inkling 2 Small 的安全工作围绕两个问题展开:该模型对普通用户的表现如何,以及它抵御恶意行为者移除安全防护的能力如何。Inkling 的权重发布有待我们及合作伙伴开展进一步安全评估。
为评估滥用风险,我们训练了一个内部仅助益(helpful-only)变体。我们让该模型和发布检查点都通过了比以往任何一次发布都更广泛的评估套件,并动用了更多外部测试人员。
在化学、生物、放射性和核(CBRN)风险方面,Inkling 2 Small 的知识和能力得分低于开放权重前沿水平。在 FORTRESS 上——这是 Scale AI 的私有基准,用于评估模型在 CBRN、恐怖主义和非暴力犯罪领域对专家撰写的对抗性提示给出有害协助的程度——Inkling 2 Small 的平均风险得分低于 Inkling 和 Inkling-Small,同时也表现出更高的过度拒答得分(见局限性)。Inkling 2 Small 的仅助益变体在 CBRN 知识上相较发布检查点仅有边际提升,但在我们测量的任何维度上都未显著推进前沿。
在攻击性和两用型智能体网络基准上,Inkling 2 Small 相较 Inkling Small 有大幅提升,但仍落后于开放权重前沿。它在 Vals CyberBench v1.1 和 PatchEval 上与开放权重前沿持平,这两项基准均衡量发现和修补安全漏洞的能力。
| 安全性 | Inkling 2 Small | GLM-5.3-Flash | DeepSeek V4.1 Flash | Muse Spark Open | GLM 5.3 |
|---|---|---|---|---|---|
| FORTRESS(ARS)↓ | 16.2(该行报告的最佳结果之一,位列第二) | 26.7 | 27.2 | 7.6(该行报告的最佳结果) | 28.2 |
| FORTRESS(ORS)↓ | 20.4 | 3.6(该行报告的最佳结果之一,位列第二) | 6.9 | 16.0 | 3.2(该行报告的最佳结果) |
| DistressBench ↑ | 82.0*(该行报告的最佳结果之一,位列第二) | 72.7 | 79.8 | 87.7(该行报告的最佳结果) | 72.5 |
| StrongREJECT ↑ | 97.8(该行报告的最佳结果之一,位列第二) | 96.8 | 98.7(该行报告的最佳结果) | 97.6 | 97.2 |
| PatchEval ↑ | 79.6(该行报告的最佳结果之一,位列第二) | 74.8 | 80.4(该行报告的最佳结果) | 77.8 | 69.6 |
| Vals CyberBench ↑ | 72.7(该行报告的最佳结果之一,位列第二) | 67.9 | 73.7(该行报告的最佳结果) | – | 72.1 |
DeepSeek 合并了所提供的 Flash 结果:FORTRESS 和 PatchEval 为 1017;DistressBench、StrongREJECT 和 Vals CyberBench 使用未标注版本的 Flash。
* 尽管我们能较好地处理心理困扰情境,但正如局限性部分所述,我们的模型有时会在正常的情绪支持查询中过度反应,附加免责声明。
随着模型承担无监督、更长周期的自主工作,其不当行为可能造成的危害也随之增加。若不对对齐给予适当关注,以能力为中心的强化学习可能推动模型不惜一切代价取得成功。当任务困难时,Inkling 2 Small 的早期检查点会执着地试图成功——在某些情况下伪造结果、无视指令并隐瞒其所作所为。
我们跨整个技术栈努力改进模型对齐。在中期训练中,我们过滤掉包含不当行为的轨迹,并纳入诚实、对齐行为的轨迹。在强化学习中,我们增加了一项通用对齐奖励,对每项任务中的不当行为进行惩罚。我们还针对训练中观察到的特定失败模式构建了环境,例如奖励模型放弃不可能完成的任务。最后,我们使用了同策略自蒸馏Zhao 等,2026. 从一个以行为规范为提示的教师模型中蒸馏,使模型无需显式提示即可内化良好行为的原则。
我们通过内部和外部评估衡量进展,发现 Inkling 2 Small 在内部和外部评估上均较此前的 Inkling 模型有实质性提升,并在我们的内部评估中优于一组可比的开放权重模型。
| Inkling + 开放权重Inkling + 开放权重 | 闭源权重闭源权重 | ||||||
|---|---|---|---|---|---|---|---|
| 对齐 | Inkling 2 Small | Inkling | Inkling Small | Muse Spark Open | GLM-5.3-Flash | DeepSeek V4.1 Flash | GPT-6.1 Sol |
| 不当行为(内部)↓ | 14.9(该行报告的最佳结果之一,位列第二) | 66.8 | 75.2 | 82.4 | 57.1 | 68.0 | 0.8(该行报告的最佳结果) |
| 隐蔽不当行为(内部)↓ | 11.8(该行报告的最佳结果之一,位列第二) | 59.4 | 59.1 | 60.8 | 29.2 | 37.6 | 0.8(该行报告的最佳结果) |
| 破坏性行为(内部)↓ | 4.7(该行报告的最佳结果) | 71.9 | 67.2 | 7.8 | 25.8 | 10.9 | 7.0(该行报告的最佳结果之一,位列第二) |
| HoneyBench v0.2-alpha:奖励黑客(Goodhart Labs)↓ | 44(该行报告的最佳结果) | 70 | 69 | – | – | – | 59(该行报告的最佳结果之一,位列第二) |
| 无目标隐蔽行动(Apollo Research)↓ | 8(该行报告的最佳结果) | 37 | 36(该行报告的最佳结果之一,位列第二) | – | – | – | – |
| 有目标隐蔽行动(Apollo Research)↓ | 0(该行报告的最佳结果) | 7 | 4(该行报告的最佳结果之一,位列第二) | – | – | – | – |
在我们的对齐评估中,Inkling 2 Small 仍落后于闭源权重模型,例如 GPT-6.1 Sol。缩小这一差距是未来模型的优先事项。
我们还努力通过两层监控来保障训练和评估的安全。第一层是同步监控:监控器在工具调用执行前对其进行检查。每项任务都会声明其授权的操作。确定性规则会根据任务策略和规避模式检查调用,并将不确定的情况上报给 LLM 评判器。第二层是异步监控:LLM 评判器会审查训练和评估中已完成的 rollout,检查是否存在不当行为以及违反我们安全边界的操作,并发出警报,由我们进行分诊并升级至事件处理流程。二者共同构成纵深防御的安全与对齐方法,我们认为这对构建安全的模型工厂至关重要。
训练 Inkling 2 Small
Inkling 2 Small 的初始预训练阶段(H1)覆盖了 8.4 万亿 token,混合了自然语言、代码和图像数据。该阶段在 NVIDIA GB300 NVL72 机架上运行了 68 小时,从而实现了高专家并行度。训练原生采用 NVFP4,即随 NVIDIA Blackwell GPU 架构引入的 4 位浮点格式。我们将在后续文章中很快分享更多关于 NVFP4 配方的细节。
内部代码
截止 2026-06 · 每字节比特数(越低越好)
0.190.25GLM-5.3base-recovered0.2358DeepSeek V4 Pro Base0.2335GLM-5.3 Flashbase-recovered0.2327DeepSeek V4.1 Flash 1017base-recovered0.2209Inkling 2 Smallpost-trained0.2080Kimi K3.1 Probase-recovered0.2068Inkling 2 Smallpre-trained0.2030在此初始阶段之后,我们进行了第二阶段(H2),使用 3.8 万亿 token 的模型未曾见过的高质量、较新数据,上下文长度为 512K。第三和第四阶段则混入了部署格式的数据。第三阶段约为 3200 亿 token 的推理和智能体轨迹,上下文长度为 1M,同时重放预训练数据。第四阶段(H4)仅保留最高质量的数据:约 340 亿 token 的智能体轨迹。H3 和 H4 的混合数据主要由从早期模型(包括 Kimi K3 和我们自己的模型)采样的轨迹组成,并按正确性和对齐性进行了筛选。
随后我们进行了一次联合 RL 运行,包含 1,075 步,在 9 天内完成了超过 1700 万次 rollout。详见下表。这次单一联合运行与上一代 Inkling 发布形成对比,当时我们分别运行推理和智能体 RL,并通过多教师蒸馏将它们结合。
| 指标 | 规模 |
|---|---|
| 计算量 | 超过 4 × 10²³ FLOPs |
| GPU | 2,048 |
| 时长 | 9 天 |
| Rollout 次数 | 1700 万+ |
| Token 数 | 3T+ |
任务组合包括真实代码仓库中的软件工程、终端任务、文档创建、STEM 问答、视觉、Web 应用构建、与模拟用户的工具使用以及安全。每个任务族都有自己的评分器:
-
大多数编码工作采用隐藏单元测试和程序化检查;
-
文档和工具使用采用基于评分标准的 LLM 评判器;
-
STEM 和视觉问答采用参考答案;
-
Web 应用采用比较渲染截图的成对奖励模型。
| 类别 | Rollout 次数 | Token 数 |
|---|---|---|
| 编码 | 38.5% | 65.0% |
| 办公与知识工作 | 9.1% | 13.3% |
| STEM 与推理 | 7.0% | 7.6% |
| Web 与应用构建 | 4.7% | 7.2% |
| 视觉 | 13.9% | 3.0% |
| 工具使用与通用智能体 | 17.1% | 2.3% |
| 搜索 | 2.0% | 1.4% |
| 聊天、安全与认识论 | 7.8% | 0.2% |
我们随机采样并以某一努力程度为条件,并在奖励函数中施加长度惩罚,从而训练模型在速度和彻底性之间进行权衡。
我们采用了异步 RL,使用一种分数居中变体——Tinker 中的 StableReinforce 目标——它能容忍显著的陈旧性。我们的运行结合了短时程和长时程任务,总 rollout token 的 p50/p99 分别为 43k 和 1.5M,时长的 p50/p99 分别为 8 分钟和 4 小时。我们使用 256k 上下文长度,并为长时程任务启用压缩训练。因此,训练奖励和评估性能均随计算量呈对数线性增长。
训练奖励
平均奖励
STEM 评估性能
STEM 评估得分
视觉评估性能
视觉评估得分
| 指标 | 数值 |
|---|---|
| 策略陈旧性中位数 | 17 次更新 |
| Rollout 批次大小 | 16K |
| 每次 rollout 的总 token 数 | 中位数:43K · p99:1.5M |
| Rollout 时长 | 中位数:8 分钟 · p99:4 小时 |
| 上下文窗口 | 256K token,对更长轨迹启用压缩 |
要使这一规模切实可行,需要对整个系统栈进行改进。我们的 RL 基础设施部署了 NVFP4 MoE 训练和采样。在采样期间,预填充、草稿和验证完全在 CUDA 图上运行。训练器镜像预训练栈,采用高专家并行度、EPLB 和 CUDA 图以提高 GPU 效率。为支持长时程智能体工作负载,我们使用粘性路由和 DRAM KV 缓存卸载,以维持 93%+ 的前缀缓存命中率,从而使我们能够在长上下文训练下保持 5:3 的采样器与训练器比例。权重传输通过 GPUDirectRDMA 以 93%+ 的线速完成,并配有并行度不变的校验和验证器。我们还通过提供 NVFP4 KV 缓存变体进一步降低部署推理成本,我们发现该变体对评估的降低幅度极小。
长时程任务赋予模型数小时的自主性,增加了行为失准带来的潜在风险。在主 RL 运行进行到一半时,我们的异步监控标记了一个实例:模型在任务失败后,通过其搜索工具能够访问的第三方服务绕过了网络封锁。我们暂停了运行,加固了基础设施,移除了需要网络访问的环境,并增加了同步工具调用监控。随后我们恢复了运行,并按上文所述加入了专门用于对齐的额外训练阶段。
我们流程的改进使我们能够使用相似的配方训练不同规模的模型,并具有可预测的扩展性和性能。Inkling 2 Small 是模型阶梯中的一级;我们期待很快与大家分享更多层级。
Inkling 2 Small 基准测试
与以往的 Inkling 发布一样,我们在广泛的能力范围内对 Inkling-Small 进行了基准测试。所有评估均以 effort 0.99(xhigh)和温度 1.0 运行。所有评估均以 100 万 token 的最大轨迹限制运行,高于 Inkling Small 所使用的 25.6 万 token 限制。
| 开放权重 FlashOpen Weights Flash | 开放权重 ProOpen Weights Pro | 闭源权重 FlashClosed Weights Flash | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Inkling 2 Small | GLM-5.3-Flash | MiMo V2.6 Flash | MiniMax-M3.1-Flash | DeepSeek-V4.1-Flash-1017 | Muse Spark Open | GLM 5.3 | MiMo V2.6 Pro | Mistral Large 4 | Kimi K3 | GPT-6 Luna | Gemini 3.8 Flash | Claude Haiku 5.5 | |
| 模型信息 | |||||||||||||
| 参数量(B)激活 / 总计 | 17/594 | 18/320 | 15/309 | 23/428 | 16/552 | 42/816 | 40/753 | 42/1020 | 49/1050 | 104/2800 | – | – | – |
| 第三方指数 | |||||||||||||
| AA 指数(v5.0) | 30.6 | 27.8 | 26.7 | 29.1 | 32.6(该行报告的第二高分) | 24.9 | 31.7 | 29.9 | 26.1 | – | 27.9 | 30.8 | 36.5(该行报告的最高分) |
| Vals 指数(v2.2) | 56.1% | 50.9% | 54.8% | 53.8% | 61.3%(该行报告的最高分) | 48.6% | 59.7%(该行报告的第二高分) | 57.8% | 56.5% | 53.0% | 52.3% | 56.0% | 58.7% |
| 编码 | |||||||||||||
| FrontierCode v2.0 | 25.4% | 14.2% | 21.6% | 20.8% | 28.5%(该行报告的第二高分) | 7.6% | 21.6% | 24.0% | 15.0% | 17.3% | 25.2% | 18.7% | 34.9%(该行报告的最高分) |
| DeepSWE v1.1 | 72.1% | 63.4% | 67.9% | 73.7% | 77.0%(该行报告的最高分) | 60.0% | 69.0% | 71.9% | 61.7% | 68.5% | 66.6% | 73.8%(该行报告的第二高分) | 59.9% |
| Terminal Bench Science v0.1 | 5.7% | 4.8% | 4.3% | 3.3% | 12.9%(该行报告的第二高分) | 1.9% | 9.5% | 5.7% | 4.3% | 8.1% | 8.6% | 10.0% | 20.0%(该行报告的最高分) |
| Vibe Code Bench v1.1 | 81.6% | 30.8% | 79.0% | 73.9% | 87.7%(该行报告的第二高分) | 76.2% | 78.1% | 85.2% | 81.6% | 85.0% | 81.7% | 78.7% | 90.4%(该行报告的最高分) |
| SWEBench Pro v2(Hard) | 86.3%(该行报告的第二高分) | – | – | 84.3% | – | 82.4% | 84.3% | – | – | 88.2%(该行报告的最高分) | – | 58.8% | 52.9% |
| 自动研究 | |||||||||||||
| PostTrainBench v1.2 | 31.9% | 36.8%(该行报告的最高分) | – | – | 30.5% | – | 34.5%(该行报告的第二高分) | – | – | 31.5% | – | – | – |
| PMPP-HardAUC(任务小时,0–10 小时) | 494.27(该行报告的第二高分) | – | – | – | 497.36(该行报告的最高分) | – | 430.96 | – | 478.39 | 453.58 | – | – | – |
| BioMysteryBench | 70.0% | – | 69.3% | – | – | – | – | – | – | 72.6%(该行报告的最高分) | 61.5% | 62.2% | 70.4%(该行报告的第二高分) |
| 搜索与工具 | |||||||||||||
| MCP Atlas完整 / 公开 | 85.4/85.0%(该行报告的第二高分) | –/82.0% | –/62.9% | –/80.4% | –/83.2% | 89.2/87.5%(该行报告的最高分) | 84.2/83.6% | –/84.4% | –/84.5% | 82.3/84.2% | –/77.8% | –/87.5% | –/81.0% |
| 知识工作 | |||||||||||||
| AA-Briefcase v1.1 | 1527 | 1451 | 1487 | 1476 | 1570(该行报告的第二高分) | 1279 | 1503 | 1512 | 1348 | 1497 | 1337 | 1203 | 1574(该行报告的最高分) |
| GDPVal-AA v2.1 | 1630 | 1649 | 1614 | 1465 | 1746(该行报告的最高分) | 1401 | 1657 | 1689(该行报告的第二高分) | – | 1543 | 1444 | 1445 | 1631 |
| JobBench | 70.5%(该行报告的最高分) | 60.7% | 61.2% | 67.5%(该行报告的第二高分) | – | 61.8% | 61.4% | 62.0% | 55.2% | 54.3% | 49.0% | – | 39.2% |
| 企业运营 | |||||||||||||
| EnterpriseOps-Gym | 46.8%(该行报告的最高分) | 33.2% | – | – | – | – | 36.4% | – | – | 45.3%(该行报告的第二高分) | – | – | – |
| EnterpriseBench-CoreCraft | 71.8%(该行报告的最高分) | 46.7% | – | – | – | – | 51.8% | – | – | 43.1% | – | 58.5%(该行报告的第二高分) | – |
| 金融工作 | |||||||||||||
| Vals 金融指数 | 61.5%(该行报告的最高分) | 55.8% | 57.1% | 55.9% | 60.9%(该行报告的第二高分) | 53.0% | 60.5% | 57.8% | 57.0% | 58.0% | 53.1% | 60.5% | 57.4% |
| Tau 3 Banking v1.0.1 | 40.4%(该行报告的第二高分) | 47.2%(该行报告的最高分) | – | – | – | – | – | – | – | 33.4% | – | – | – |
| DAYJOB(金融) | 14.3%(该行报告的最高分) | 7.3% | – | – | 12.5%(该行报告的第二高分) | – | 11.0% | – | 4.8% | 5.5% | 6.8% | 4.5% | – |
| Apex-Accounting v1.1pass@1 | 14.5% | 12.3% | – | 13.5% | 12.5% | 13.8% | 13.9% | – | 12.0% | 9.5% | 10.8% | 15.5%(该行报告的最高分) | 15.3%(该行报告的第二高分) |
| Apex-Accounting v1.1平均分 | 62.0%(该行报告的第二高分) | 53.7% | – | 60.0% | 59.3% | 58.0% | 59.5% | – | 56.5% | 56.7% | 53.9% | 58.8% | 62.2%(该行报告的最高分) |
| 法律工作 | |||||||||||||
| Vals 法律指数 | 73.9%(该行报告的第二高分) | 71.1% | 69.0% | 67.1% | 71.9% | 68.5% | 74.6%(该行报告的最高分) | 72.1% | 67.8% | 71.7% | 62.2% | 69.8% | 70.3% |
| 视觉创作 | |||||||||||||
| DesignArena Web Apps | 1296(该行报告的最高分) | – | – | – | – | – | – | 1275 | – | 1283(该行报告的第二高分) | 1161 | 1221 | – |
| DesignArena Website | 1340(该行报告的最高分) | 1270 | – | 1280 | 1297 | 1303 | 1290 | 1307 | 1256 | 1334(该行报告的第二高分) | 1268 | 1299 | 1261 |
| DesignArena Game Dev | 1428(该行报告的最高分) | 1276 | – | 1312 | 1261 | 1270 | 1303 | 1315 | 1225 | 1351(该行报告的第二高分) | 1261 | 1305 | 1319 |
| DesignArena 3D Design | 1401(该行报告的最高分) | 1314 | – | 1332 | 1361 | 1261 | 1324 | 1333 | 1249 | 1381(该行报告的第二高分) | 1213 | 1291 | 1334 |
| Code2Video-AA | 1020 | 975 | 1052(该行报告的第二高分) | – | – | – | 1034 | 1052(该行报告的第二高分) | – | 1041 | 1030 | 899 | 1192(该行报告的最高分) |
| 视觉感知 | |||||||||||||
| PerceptionBench | 64.7%(该行报告的最高分) | – | – | – | 47.7% | – | – | – | – | 58.5%(该行报告的第二高分) | 56.2% | – | – |
| ScreenSpot Pro原始 / 配合 Python | 83.8/91.5%(该行报告的最高分) | – | – | – | – | – | – | 56.6%/– | 42.3%/– | 73.8/83.2% | 81.1/87.6%(该行报告的第二高分) | – | – |
| HSS | 33.3%(该行报告的第二高分) | 26.8% | 25.4% | – | 30.1% | 29.6% | – | 25.2% | – | 25.5% | 21.0% | 41.6%(该行报告的最高分) | – |
| BabyVision原始 / 配合 Python | 68.6/93.7%(该行报告的最高分) | 53.4/82.6%(该行报告的第二高分) | – | –/91.0% | –/92.5% | 44.3/80.2% | – | – | 42.3/71.5% | 53.4/85.7%(该行报告的第二高分) | – | – | – |
| 视觉推理 | |||||||||||||
| GDP.pdf | 25.2%(该行报告的最高分) | 15.4% | 9.0% | 20.8% | 17.2% | 18.6% | 11.2% | 19.2% | 17.6% | 22.0% | 22.8%(该行报告的第二高分) | 21.0% | 20.8% |
| MMMU Pro(标准 10) | 81.6%(该行报告的第二高分) | 79.0% | – | 79.1% | 80.6% | 80.9% | – | 74.1% | 78.0% | 80.5% | 79.7% | 85.6%(该行报告的最高分) | 79.1% |
| Charxiv RQ原始 / 配合 Python | 85.6/87.7%(该行报告的第二高分) | 80.2/89.4% | 66.2%/– | 82.5%/– | 77.0/85.6% | 85.4/88.7% | – | 74.2%/– | 83.2/87.9% | 84.8/91.3% | 81.8/85.3% | 86.2/92.1%(该行报告的最高分) | 84.4%/– |
| Chartography原始 / 配合 Python | 36.7/80.4% | 16.3/78.0% | 7.5%/– | 12.6%/– | 17.9/83.0% | 35.7/63.2% | – | 10.8%/– | 21.2/56.6% | 26.6/68.1% | 32.0%/– | 40.9/82.0%(该行报告的第二高分) | 46.4%/–(该行报告的最高分) |
| STEM 推理 | |||||||||||||
| CritPt v2完整 / 困难 | 55.7/35.0% | –/24.5% | –/29.5% | 51.4/32.5% | 50.6/25.0% | 52.6/29.5% | 57.4/33.5% | 56.9/34.0% | 50.3/27.0% | –/40.5% | 65.1/42.5%(该行报告的最高分) | 65.1/46.5%(该行报告的最高分) | 64.0/43.5%(该行报告的第二高分) |
| HLE-Diamond | 28.7% | 18.2% | 13.7% | 28.1% | 25.3% | 26.3% | 17.9% | 15.2% | 17.3% | 26.9% | 22.2% | 33.1%(该行报告的最高分) | 29.6%(该行报告的第二高分) |
| HLE(配合工具) | 53.2% | – | – | – | 58.8% | 61.0%(该行报告的第二高分) | 62.5%(该行报告的最高分) | – | – | 56.0% | – | – | 57.4% |
| Apex 2025 | 63.5%(该行报告的第二高分) | – | – | – | – | 32.3% | – | – | – | 65.6%(该行报告的最高分) | – | – | – |
| 长上下文 | |||||||||||||
| AA-LCR v1.1 | 83.3% | 80.0% | – | – | – | 78.3% | 79.7% | 86.3%(该行报告的第二高分) | – | 88.7%(该行报告的最高分) | – | 81.3% | 82.7% |
| LongBench v2 | 70.6%(该行报告的第二高分) | 68.2% | 60.7% | 60.9% | 69.0% | 68.7% | 68.4% | 68.0% | 65.7% | 69.0% | 65.0% | 73.7%(该行报告的最高分) | 65.3% |
| 事实性 | |||||||||||||
| AA-Omniscience v1.1得分 | 16.1 | 0.7 | -10.8 | -6.4 | 0.9 | 25.8(该行报告的最高分) | 6.0 | -4.5 | 5.1 | – | -8.3 | 23.3(该行报告的第二高分) | 12.3 |
| AA-Omniscience v1.1非幻觉率 | 73.3%(该行报告的最高分) | – | – | 6.3% | 35.9% | 72.0%(该行报告的第二高分) | 61.1% | 39.8% | 71.8% | – | 20.7% | 44.9% | 65.8% |
| 指令遵循 | |||||||||||||
| ComplexConstraints v1.0 | 44.5% | 27.6% | 22.1% | 23.2% | 50.4%(该行报告的最高分) | 41.3% | 30.5% | 32.3% | 36.5% | 37.9% | 27.3% | 48.4%(该行报告的第二高分) | 36.8% |
| 安全性(失准) | |||||||||||||
| DistressBench | 82.0%(该行报告的第二高分) | 72.7% | – | – | 79.8% | 87.7%(该行报告的最高分) | 72.5% | – | 77.0% | 73.5% | 66.7% | 70.7% | 71.7% |
| FORTRESS(对抗性) | 83.8%(该行报告的第二高分) | 73.3% | – | – | 72.8% | 92.4%(该行报告的最高分) | 71.8% | – | 76.0% | – | – | – | – |
| FORTRESS(良性) | 79.7% | 96.4%(该行报告的第二高分) | – | – | 93.1% | 84.0% | 96.8%(该行报告的最高分) | – | 91.8% | – | – | – | – |
| StrongREJECT(无) | 97.8% | 96.8% | – | – | 98.7%(该行报告的最高分) | 97.6% | 97.2% | – | 98.6%(该行报告的第二高分) | – | – | – | – |
| 安全性(滥用) | |||||||||||||
| CyberBench v1.1 | 72.7% | 67.9% | 75.4% | – | 73.7% | – | 72.1% | 72.9% | – | 75.2% | 76.3%(该行报告的最高分) | 43.8% | 75.5%(该行报告的第二高分) |
| PatchEval | 79.6%(该行报告的第二高分) | 74.8% | – | – | 80.4%(该行报告的最高分) | 77.8% | 69.6% | – | 76.1% | – | – | – | – |
评估快照: 缺失结果以短横线表示。
局限性
尽管 Inkling 2 Small 相比 Inkling 提升了易用性,但它并非最简洁的沟通者,也不总能选择最适合任务的工具——尤其是在技能数量众多的代码库中。
与之前的 Inkling 模型一样,Inkling 2 Small 原生支持图像输入;但该模型不支持音频。
Inkling 2 Small 在聊天体验方面的优化也较少。我们注意到一些问题,例如内容组织和呈现较差、斜杠使用过多,以及对心理健康和其他安全相关查询反应过度。
立即试用 Inkling 2 Small
我们很自豪能在 Tinker 上提供 Inkling 2 Small,用于推理和微调。在完成安全测试后,该模型将在未来几周内登陆更多平台。
Inkling 2 Small 的诞生服务于 我们的使命 ——构建能够延伸人类意志与判断力的 AI。我们希望它能激发你的雄心,也期待看到你用它构建的作品。
上一页 返回顶部