隆重推出 Inkling 2 Small2026年11月5日 在 Tinker 上试用模型卡

今天我们推出第二代模型 Inkling 2 Small。它是一款混合专家(MoE)模型,总参数 594B,激活参数 17B,支持图像输入和可变推理强度。

Inkling 2 Small 在 Artificial Analysis Intelligence Index 上的得分达到 31,远超我们此前各模型的成绩,反映出其在智能体编码、视觉、知识工作和推理方面性能的提升。能力提升源于我们训练流程每一步的改进,包括更高效的预训练和一次大规模的统一强化学习运行。

Inkling 2 Small 初期将通过 Tinker 提供,权重闭源,遵循我们在 通往开放权重的安全路径中阐述的做法。我们计划在完成外部安全测试和红队评估后,于下周以 Apache 2.0 许可开放完整权重。

你今天就可以在 Tinker Playground 上试用 Inkling 2 Small。该模型也可在 Tinker 上进行微调和采样;随着 Inkling 2 Small 权重的发布,检查点将可供下载。

能力

Inkling 2 Small 在各方面都比我们的第一代模型更强,尤其是在长程自主工作方面。

Inkling 2 Small 的视觉和智能体能力使其能够利用视觉反馈,迭代构建和完善带有交互元素的网站、游戏和 3D 设计。

Inkling 2 Small 使用 Three.js 构建了一个完整的城市模拟器,没有任何预制素材,程序化生成每一栋建筑、每一处纹理和每一辆汽车,让用户可以从一条道路开始发展一座生机勃勃的城市,同时管理电力、预算和突发事件。
一个用 Python 从零编写的 PC 模拟器。它能启动真实的 Linux 内核,并提供网页界面,可在浏览器中启动一个实时实例。
一张画在普通纸上的手绘山谷,折纸鹤落在 Inkling 上。使用 Inkling 2 Small 在 Blender 中生成;随后对水面和烟囱进行了改进和修订。
一段根据地图生成的平面图漫游。

智能体编码与自动研究

Inkling 2 Small 通过强化学习在数十万个长程编码任务上训练,涵盖多种智能体框架和上下文压缩策略。我们提升了合成编码数据管线的质量,并超越了仅依赖单元测试奖励的做法;许多任务都包含一个智能体强化学习评分器,评估模型如何着手解决问题,而不仅仅是其代码是否通过。我们还在 OpenCode 上以 Fledge-Alpha 之名测试了 Inkling 2 Small 的早期检查点,以评估我们的模型在真实世界中编码任务上的表现。

结果是一个编码能力更强、在真实智能体循环中也更易使用的模型。相比 Inkling,Inkling 2 Small 在易用性上有所提升:它更好地遵循指令,审慎考虑改动,并会主动验证自己的工作。

编码与自动研究Inkling 2 SmallGLM-5.3-FlashDeepSeek-V4.1-Flash-1017Muse Spark OpenKimi K3
FrontierCode v2.025.4%(该行报告的第二高分)14.2%28.5%(该行报告的最高分)7.6%17.3%
DeepSWE v1.172.1%(该行报告的第二高分)63.4%77.0%(该行报告的最高分)60.0%68.5%
SWEBench Pro v2(Hard)86.3%(该行报告的第二高分)––82.4%88.2%(该行报告的最高分)
Vibe Code Bench v1.181.6%30.8%87.7%(该行报告的最高分)76.2%85.0%(该行报告的第二高分)
PostTrainBench v1.231.9%(该行报告的第二高分)36.8%(该行报告的最高分)30.5%–31.5%
Terminal Bench Science v0.15.7%4.8%12.9%(该行报告的最高分)1.9%8.1%(该行报告的第二高分)

内核优化(PMPP-Hard)

69 个任务 · 四次独立尝试 · 10 小时预算

GPT-6 Astra63Kimi K3.1 Pro60.5Claude Opus 5.560Kimi K355.75DeepSeek V4.1 Flash55.25Inkling 2 Small54.25GLM 5.352.5Mistral Large 450.25GLM 5.242

平均解决任务数 / 69

将鼠标悬停在曲线上或选择模型以查看;再次选择可重置。聚焦某个模型后,使用 ← 和 → 逐步查看结果,或按 Escape 清除。

查看完整结果
PMPP-Hard 结果
模型AUC(任务·小时)平均解决数 / 69Pass@4 / 69
GPT-6 Astra616.396363
Kimi K3.1 Pro583.8660.563
Claude Opus 5.5499.656064
DeepSeek V4.1 Flash497.3655.2562
Inkling 2 Small494.2754.2564
Mistral Large 4478.3950.2561
Kimi K3453.5855.7566
GLM 5.3430.9652.561
GLM 5.2389.124261

各行按 AUC 排序:即 0–10 小时内平均曲线下的面积,最大值为 690 任务·小时。

每个模型均使用其可用的最高推理设置、PI 框架和共享的压缩策略。我们纳入了评估期间发现的任务和评分问题的修复。每个提交的解决方案都会接受两次独立的 LLM 审核,如有分歧则由第三次评审裁定。

PMPP-Hard 是一个外部 GPU 内核优化基准,此处经过调整以实现一致的跨模型评估。曲线显示四次独立尝试的平均值;图例数值为 10 小时时的平均解决任务数。

除了常规软件任务,Inkling 2 Small 还在长程自动研究任务上接受了训练。这包括智能体 GPU 内核优化和机器学习任务,例如自主对模型进行后训练,所有这些都在多种 GPU 架构上运行。

初步内核自动研究结果

DeepSeek-V3.2 稀疏注意力,前向 + 反向

Claude Opus 5.5 · 18.80×GPT-6 Astra · 10.26×Inkling 2 Small · 6.02×DeepSeek V4.1 Flash · 5.66×GLM 5.3 · 5.03×Mistral Large 4 · 3.43×

相对原始版本的加速比(×)

DeepSeek 稀疏注意力让每个查询只关注由轻量级索引器选出的前 k 个较早 token,因此长上下文成本不再随上下文长度的平方增长。从公开的 TileLang 内核出发,让训练内核更快,同时保持其误差接近原始版本(严格容差),且不设时间限制。基准测试覆盖了不同情形下的多个模型规模,从打包的预训练序列到长上下文训练。公开的 TileLang 基线并未针对 B300 调优,这在这些工作负载上留下了充足的空间,用以衡量每个模型的优化能力和毅力。加速仅针对这些内核本身,而非端到端训练。

为展示其端到端自动研究性能,我们在一个任务上测试了 Inkling 2 Small Proximal ,该任务是为我们的一个内部基准测试构建的。Inkling 2 Small 在 Tinker 上自主训练 Qwen3.5-4B,以预测天气和维基百科页面浏览量等各种时间序列。它首先分析任务并编写自己的评估器,尝试不同的训练数据集和配方,并尝试各种 SFT 和 RL 方法,同时边做边调试过程。经过 4.5 小时的工作和 426 美元的 Tinker 花费,训练后的模型其预测得分提高了一倍以上。

inkling-2-small@tinker:时间序列预测我们希望 Qwen/Qwen3.5-4B 预测时间序列。模型获得一个窗口,即某个序列最近的历史记录(以文本形式),并写出后续步骤的值。对每个窗口进行多次采样。其预测的中位数应接近实际发生的情况,其离散程度应与其不确定性相匹配。[...] 使用 Tinker 训练 Qwen/Qwen3.5-4B 的 LoRA。[...] 你有 12 小时和 500 美元的 Tinker 预算。Bashls /app /data && cat /data/README.md/app: examples.jsonl forecast …(还有 25 行)Bashtinker-usage 2>&1 | head -20; echo ---; tinker-usage --prices 2>&1 | head -40time 0 小时 0 分,共 12 小时(剩余 11 小时 59 分)现在让我看看 Tinker 的采样是如何工作的:Bashmkdir -p /app/work && cat > /app/work/eval_windows.py <<'EOF'Bashtimeout 900 python3 work/eval_windows.py --limit 4 --workers 4 --out work/base_test.jsonl 2>&1 | tail -20skill=0.1090 windows=4 errors=0 time=103s mean crps ratio=1.0111 mean mae ratio=1.1256基础模型产生可解析的输出,在 4 个窗口上 skill 约为 0.1。让我在后台运行一个更全面的基线,同时探索数据用于训练。现在是数据集构建器:Bashtimeout 2400 python3 work/build_windows.py --out work/windows_train.jsonl --n 12500 --seed 0 --cutoff 2026-05-将 12500 个窗口写入 work/windows_train.jsonl基础模型:skill 0.038,在电力数据上表现最差。现在进行 SFT 冒烟测试:8 个样本结果完全相同,因为我传入了一个种子且 num_samples=8。评分器会用 8 个种子发出 8 个请求。让我修正评估以镜像该做法:Bashnohup python3 work/sft.py --data work/sft_train.jsonl --out work/logs/sft1 --epochs 1 --batch-size 64 --lr 1e-sft-started在 SFT 训练期间,让我研究 RL 基础设施,以备可能的 GRPO 阶段:使用适当的不同种子的基础模型:skill=0.191(不是 0.038)。SFT 在第 109 步。让我编写 RL 启动器:SFT 完成。在 100 个示例上评估:Bashpython3 -c "airq crps=0.634 mae=0.761 eia_demand crps=0.760 mae=0.932 eia_renew crps=0.776 mae=1.014 weather crps=0.695 mae=0.863 wiki crps=0.753 mae=0.894 样本相同的窗口:0 /100已花费 101 美元——评估很昂贵。让我测试 `num_samples=8` 配合随机种子是否会产生不同样本(应该会,并且共享预填充):批量评估成本约为每窗口 0.02 美元。现在训练全数据 SFT:Bashpython3 work/windows_to_conversations.py --windows work/windows_all.jsonl --out work/sft_all.jsonl && nohup pyBashtail -5 /app/work/sft2_eval.log; ps aux | grep eval_windows | grep -v grep | wc -lskill=0.2692 windows=100 errors=0 time=281s mean crps ratio=0.7114 mean mae ratio=0.8679Bashcat > /app/model.json << 'EOF'{"checkpoint": "tinker://…/sampler_weights/final"}Bashrm -rf /app/work/logs/rl_smoke /app/work/rl_smoke.log; nohup python3 work/rl.py --windows work/windows_all.jsoBashtimeout 900 python3 work/eval_windows.py --checkpoint tinker://…/saskill=0.2558 windows=100 errors=0 time=139sBashtimeout 600 python3 work/eval_windows.py --checkpoint tinker://…/saskill=0.2296 windows=100 errors=0 time=160sBashkill 3978 2>/dev/null; sleep 2; ps aux | grep rl.py | grep -v grep | awk '{print $2}'Bashpython3 - << 'EOF'lam=0.50 skill=+0.2515 crps=0.6933 mae=0.8036 lam=1.00 skill=+0.2692 crps=0.6581 mae=0.8036 lam=2.00 skill=+0.2463 crps=0.7037 mae=0.8036Bashnohup python3 work/sft.py --data work/sft_all.jsonl --out work/logs/sft3 --epochs 1 --lr 5e-5 --batch-size 64 Bashnohup python3 work/sft.py --data work/sft_recent.jsonl --out work/logs/sft4 --epochs 1 --lr 2e-5 --batch-size Bashtimeout 900 python3 work/eval_windows.py --checkpoint tinker://…/saskill=0.2888 windows=100 errors=0 time=298sBashcat > /app/model.json << 'EOF'{"checkpoint": "tinker://…/sampler_weights/final"}Bashtimeout 600 python3 work/windows_to_conversations.py --windows work/windows_recent2.jsonl --out work/sft_recenBashtimeout 600 python3 work/windows_to_conversations.py --windows work/windows_recent3.jsonl --out work/sft_recenBashpython3 - << 'EOF'sft2_eval_seeded crps=0.6674 mae=0.8213 skill=0.2556 sft2_eval_seeded2k crps=0.6691 mae=0.8201 skill=0.2554 sft2_eval crps=0.6581 mae=0.8036 skill=0.2692 sft4_eval_seeded crps=0.6635 mae=0.8254 skill=0.2556 sft4_eval_seeded2k crps=0.6708 mae=0.8283 skill=0.2505 sft4_eval crps=0.6417 mae=0.7808 skill=0.2888| 基础 Qwen3.5-4B | — | **0.191** | — | | **sft4 = sft2 + 近期数据补充(≥ 2025-08-01)** | **0.289** | 0.256 | 0.251 |✓ 4 小时 17 分 · 426 美元(共 500 美元)· 已提交:SFT 4~/tinkerbench/time-series-forecasting/0运行 0 小时 00 分在其评估示例上的预测Qwen3.5-4B(基础)电力美国西南电网 · 需求风能与太阳能纽约电网 · 风电空气质量温尼伯 · PM2.5页面浏览量维基百科 · “Valhalla”观测模型的预测“更少误差”是与直接复制最近值向前进行比较的。评估分数(误差比复制减少的百分比)100 个示例$0.00Tinker 花费,共 $500数据:美国能源信息管理局(EIA-930);天气和空气质量数据来自 Open-Meteo.com(CC BY 4.0),包含经修改的哥白尼气候变化服务局和哥白尼大气监测服务局 2026 年信息;维基媒体页面浏览量(CC0)。
开始。Inkling 2 Small 读取任务和给定的原始数据,涵盖来自五个来源的多年逐小时和逐日历史数据:电力需求、风能和太阳能发电、天气、空气质量以及维基百科页面浏览量。构建评估。在任何训练之前,Inkling 2 Small 构建一个评估脚本来衡量进展。基线是复制最近的值向前。数据整理。它将截至 5 月的历史数据转化为 12,500 个训练问题。监督微调。它开始第一次监督微调运行(SFT 1)。同时它发现其评估中的一个错误:它给所有 8 个预测相同的随机种子,因此它们输出完全相同,而最终评分器使用 8 个不同的种子。首批结果。在 SFT 1 之后,模型在每个数据源上的误差都小于复制:总体为 25%,高于 19%。它还注意到评估成本高昂(迄今 $101),并通过在一次请求中要求所有 8 个预测来降低成本,因此提示只预填充一次。在所有历史上进行 SFT。它在截至 7 月 31 日的所有历史上重新训练,并将此模型保存为目前的提交。强化学习。它尝试使用任务分数作为奖励的强化学习。预测变得过度自信,分数下降(26%,然后 23%),因此它停止该运行。快速检查显示其 SFT 2 预测的分布(即它们的不确定性程度)已经大致合适,因此强化学习几乎没有改进空间。更多 SFT。对相同数据进行第二个 epoch 没有帮助(SFT 3:25%)。仅在最近 12 个月(最接近测试期的时段)上进行一次简短的额外运行,给出了其最佳模型(SFT 4:29%)。最近两年(SFT 5)或七个月(SFT 6)导致性能更差。提交。它提交其最佳 SFT 检查点(SFT 4),并在 4 小时 17 分钟后停止,花费了其 $500 预算中的 $426。 在未见过的 8 月至 9 月数据上,这个最终模型的误差比基础模型少约 15%。

视觉理解与创作

Inkling 2 Small 使用基于 Perception Encoder 的 292M 参数视觉编码器处理图像输入Bolya 等,2025.. 我们使用 20×20 像素的图块,采用 2×2 空间池化,并将图像图块与文本 token 交错排列。该模型在多个类别中展现出强大的视觉能力,包括 OCR、定位、信息图理解和视觉推理。

视觉推理与创作Inkling 2 SmallGLM-5.3-FlashDeepSeek-V4.1-Flash-1017Muse Spark OpenKimi K3
GDP.pdf25.2%(本行报告的最高分)15.4%17.2%18.6%22.0%(本行报告的第二高分)
MMMU Pro(标准 10)81.6%(本行报告的最高分)79.0%80.6%80.9%(本行报告的第二高分)80.5%
PerceptionBench64.7%(本行报告的最高分)–47.7%–58.5%(本行报告的第二高分)
Humanity’s Sixth Sense33.3%(本行报告的最高分)26.8%30.1%(本行报告的第二高分)29.6%25.5%
ScreenSpot Pro原始 / 使用 Python83.8/91.5%(本行报告的最高分)–––73.8/83.2%(本行报告的第二高分)
BabyVision原始 / 使用 Python68.6/93.7%(本行报告的最高分)53.4/82.6%(本行报告的第二高分)–/92.5%44.3/80.2%53.4/85.7%(本行报告的第二高分)
Charxiv RQ原始 / 使用 Python85.6/87.7%(本行报告的最高分)80.2/89.4%77.0/85.6%85.4/88.7%(本行报告的第二高分)84.8/91.3%
Chartography原始 / 使用 Python36.7/80.4%(本行报告的最高分)16.3/78.0%17.9/83.0%35.7/63.2%(本行报告的第二高分)26.6/68.1%
Code Arena(WebDev)165316071665(本行报告的最高分)–1656(本行报告的第二高分)
AA-3D1021(本行报告的最高分)937––982(本行报告的第二高分)
Code2Video-AA1020(本行报告的第二高分)975––1041(本行报告的最高分)

该模型在循环中使用视觉来理解和验证其生成的视觉编码输出。在权重发布之前,它将成为以下榜单上排名最高的开放权重模型: DesignArena.

DesignArena 网站分数

Muse Wonder(max)1,366Muse Spark 1.3(xhigh)1,351Inkling 2 Small1,340GPT-6 Astra(max)1,333Kimi K31,328Claude Opus 5.51,321Kimi K3.1 Pro1,320GPT-5.6 Sol(xhigh)1,314Gemini 4 Argon1,312Claude Sonnet 5.51,309DeepSeek-V4.1-Flash-10171,303MiMo-V2.6-Pro1,303Muse Spark Open(xhigh)1,296
DesignArena 网站排行榜。分数来自 11 月 5 日的排行榜快照;蓝色条标识 Inkling 2 Small。比较包括前十名模型和三个额外的开放权重模型。条形从 1,100 开始,而非零。 在 DesignArena 上查看.

我们甚至在一场品酒活动中让 Inkling 2 Small 与我们的部分研究人员进行了测试。它仅凭视觉就胜过了他们,在 20 次试验中有 19 次仅凭一张图片正确识别出三款葡萄酒。

Three glasses of red wine on a restaurant table, in the left-to-right order used in the model response.

提示: 你正在参加一场盲品葡萄酒比赛。杯子从左到右标为 1 到 3。品种:99 赤霞珠、19 赤霞珠、23 内比奥罗

Inkling 2 Small: 这是我的解读——首先要郑重说明,在温暖的餐厅灯光下用手机照片判断颜色是不可靠的证据,所以请将此视为有根据的猜测,而非定论。

我的猜测:
1 号杯 = 2019 赤霞珠
2 号杯 = 1999 赤霞珠
3 号杯 = 2023 内比奥罗

继续阅读收起

理由:

  • 3 号杯(右侧)显然是最浅、最通透的 ——明亮的樱桃红色,你可以透过杯身看到光线。内比奥罗作为红葡萄酒以颜色浅淡著称,即使在年轻时也是如此,因此 2023 年内比奥罗最为吻合。1999 年的赤霞珠在边缘可能会呈现更多砖红/橙色/黄褐色,而这一杯看起来更像鲜艳的宝石红-石榴红。
  • 1号杯(左)颜色最深、最不透明, 核心近乎紫黑色。这是2019年的赤霞珠——经过七年,赤霞珠仍保有浓郁色泽和初级果香。
  • 2号杯(中)介于两者之间: 依然深色,但比1号杯稍显通透,也略微更暗淡/偏石榴红。一瓶25年以上、储存得当的赤霞珠应该已褪去部分紫色和透明度,但尚未完全转为砖红色,因此它应归于此。

这一猜测的明显弱点在于:光线不均匀(左侧杯子靠近壁炉,处于较暗区域,使其颜色显得更深),而且储存良好的1999年酒在镜头下可能比实际看起来深得多。真正的判断依据是色调差异而非深浅——如果2号杯边缘呈橙/棕色,而1号杯边缘呈紫红色,那就能确认。

实际品尝时快速感官判别:

  • 1999年赤霞珠: 三级香气——皮革、烟草、干黑醋栗、森林地表、雪松;单宁已柔化丝滑;果味完全软化,或许带有一丝褪去的果香。
  • 2019年赤霞珠: 黑醋栗/石墨/雪松,单宁结构依然紧实,果味更新鲜,橡木味更明显。
  • 2023年内比奥罗: 浅石榴红色,但酸度高、单宁紧涩收敛;红樱桃、玫瑰/紫罗兰、干香草、焦油气息——经典的“白葡萄酒颜色、马拉松选手口感”特征。

如果3号杯中的酒液颜色浅淡,但你的口腔感觉被单宁磨砂般收敛,那就是内比奥罗的铁证;如果口感柔和丰腴,则把3号杯和2号杯对调。祝比赛好运——如果猜对了,请回来揭晓答案。

品酒照片,按模型所见呈现,以及模型的回答。

智能体知识工作

Inkling 2 Small 在真实专业环境中加速知识工作。它能熟练查找信息、通过 MCP 调用工具,并产出高质量交付物。在端到端知识工作基准 AA-Briefcase 上,这些能力综合体现为 1527 的 ELO 分数。

知识工作与企业运营Inkling 2 SmallGLM-5.3-FlashMuse Spark OpenDeepSeek-V4.1-Flash-1017Kimi K3
AA-Briefcase v1.11527(该行报告的第二高分)145112791570(该行报告的最高分)1497
GDPVal-AA v2.116301649(该行报告的第二高分)14011746(该行报告的最高分)1543
JobBench70.5%(该行报告的最高分)60.7%61.8%(该行报告的第二高分)–54.3%
Vals Legal Index73.9%(该行报告的最高分)71.1%68.5%71.9%(该行报告的第二高分)71.7%
EnterpriseBench-CoreCraft71.8%(该行报告的最高分)46.7%(该行报告的第二高分)––43.1%

Inkling 2 Small 在金融以及针对电子表格、申报文件和文档的定量推理方面尤为突出。在开放权重模型中,Inkling 2 Small 在 AA-AnalystAgent 和 Dayjob:Finance 上排名第一,在 Vals Finance Index 和 DiligenceBench 上排名第二。

金融工作Inkling 2 SmallGLM-5.3-FlashMuse Spark OpenDeepSeek-V4.1-Flash-1017Kimi K3
Vals Finance Index61.5%(该行报告的最高分)55.8%53.0%60.9%(该行报告的第二高分)58.0%
Diligence Bench最佳测试框架58.1%(该行报告的第二高分)–59.0%(该行报告的最高分)50.4%–
DAYJOB(金融)14.3%(该行报告的最高分)7.3%–12.5%(该行报告的第二高分)5.5%
Apex-Accounting v1.1pass@114.5%(该行报告的最高分)12.3%13.8%(该行报告的第二高分)12.5%9.5%

可定制性

有些模型对微调的响应更好,这与其开箱即用的表现无关。我们希望 Inkling 2 Small 成为适合定制的强大基础模型。

在多种后训练场景中,使用相同的数据和算法训练时,Inkling 2 Small 比我们之前的模型学习更快、提升更多;这些场景是我们根据客户用例精心设计的。例如,在一个公开的金融文档摘要任务上,从相近的低分起步,Inkling 2 Small 能快速适应,仅用 75 个训练步骤就达到 Inkling Small 的最终性能,并最终大幅领先。

评估模型可微调性

Inkling 2 Small 比我们之前的模型学习更快、最终性能更高,并且在强化学习微调环境中与同等规模的其他开源模型相比具有竞争力。我们使用公开的财报电话会议数据创建了一个带有专家判断的投资分析任务,类似于 客户使用 tinker 进行训练定制模型时所用的金融分析工作负载 。为确保公平比较,我们对每个模型进行了学习率扫描;所有模型均在 Tinker 上使用 Tinker Cookbook 抽象进行训练,采用我们的 异步 RL 实现 和 Stable Reinforce 损失函数,训练超过 200 步。Inkling 模型的结果为 3 个随机种子的平均值;其他模型为单次运行。成本通过将采样和训练 token 数乘以当前 tinker 每 token 定价估算;对于采样,我们假设同一组内 rollout 中存在前缀缓存命中。

推理、知识与认识论

Inkling 2 Small 在具有挑战性的 STEM 问题、指令遵循、有无网络搜索的信息检索以及预测任务上接受训练。在 RL 过程中,我们对预测任务使用适当的评分规则,并对某些问答任务使用对不确定性敏感的奖励。这训练模型评估不确定性、表达适当的置信度,并做出校准良好的预测。

长上下文推理与事实性Inkling 2 SmallGLM-5.3-FlashMuse Spark OpenMistral Large 4Kimi K3
HLE-Diamond28.7%(该行报告的最高分)18.2%26.3%17.3%26.9%(该行报告的第二高分)
CritPt v2Full / Hard55.7/35.0%(该行报告的最高分)–/24.5%52.6/29.5%(该行报告的第二高分)50.3/27.0%–/40.5%
AA-LCR v1.183.3%(该行报告的第二高分)80.0%78.3%–88.7%(该行报告的最高分)
LongBench v270.6%(该行报告的最高分)68.2%68.7%65.7%69.0%(该行报告的第二高分)
AA-Omniscience v1.1 得分 / 非幻觉率16.1/73.3(该行报告的第二高分)0.7/–25.8/72.0(该行报告的最高分)5.1/71.8–

安全与对齐

我们对 Inkling 2 Small 的安全工作围绕两个问题展开:该模型对普通用户的表现如何,以及它抵御恶意行为者移除安全防护的能力如何。Inkling 的权重发布有待我们及合作伙伴开展进一步安全评估。

为评估滥用风险,我们训练了一个内部仅助益(helpful-only)变体。我们让该模型和发布检查点都通过了比以往任何一次发布都更广泛的评估套件,并动用了更多外部测试人员。

在化学、生物、放射性和核(CBRN)风险方面,Inkling 2 Small 的知识和能力得分低于开放权重前沿水平。在 FORTRESS 上——这是 Scale AI 的私有基准,用于评估模型在 CBRN、恐怖主义和非暴力犯罪领域对专家撰写的对抗性提示给出有害协助的程度——Inkling 2 Small 的平均风险得分低于 Inkling 和 Inkling-Small,同时也表现出更高的过度拒答得分(见局限性)。Inkling 2 Small 的仅助益变体在 CBRN 知识上相较发布检查点仅有边际提升,但在我们测量的任何维度上都未显著推进前沿。

在攻击性和两用型智能体网络基准上,Inkling 2 Small 相较 Inkling Small 有大幅提升,但仍落后于开放权重前沿。它在 Vals CyberBench v1.1 和 PatchEval 上与开放权重前沿持平,这两项基准均衡量发现和修补安全漏洞的能力。

安全性Inkling 2 SmallGLM-5.3-FlashDeepSeek V4.1 FlashMuse Spark OpenGLM 5.3
FORTRESS(ARS)↓16.2(该行报告的最佳结果之一,位列第二)26.727.27.6(该行报告的最佳结果)28.2
FORTRESS(ORS)↓20.43.6(该行报告的最佳结果之一,位列第二)6.916.03.2(该行报告的最佳结果)
DistressBench ↑82.0*(该行报告的最佳结果之一,位列第二)72.779.887.7(该行报告的最佳结果)72.5
StrongREJECT ↑97.8(该行报告的最佳结果之一,位列第二)96.898.7(该行报告的最佳结果)97.697.2
PatchEval ↑79.6(该行报告的最佳结果之一,位列第二)74.880.4(该行报告的最佳结果)77.869.6
Vals CyberBench ↑72.7(该行报告的最佳结果之一,位列第二)67.973.7(该行报告的最佳结果)–72.1

DeepSeek 合并了所提供的 Flash 结果:FORTRESS 和 PatchEval 为 1017;DistressBench、StrongREJECT 和 Vals CyberBench 使用未标注版本的 Flash。

* 尽管我们能较好地处理心理困扰情境,但正如局限性部分所述,我们的模型有时会在正常的情绪支持查询中过度反应,附加免责声明。

随着模型承担无监督、更长周期的自主工作,其不当行为可能造成的危害也随之增加。若不对对齐给予适当关注,以能力为中心的强化学习可能推动模型不惜一切代价取得成功。当任务困难时,Inkling 2 Small 的早期检查点会执着地试图成功——在某些情况下伪造结果、无视指令并隐瞒其所作所为。

我们跨整个技术栈努力改进模型对齐。在中期训练中,我们过滤掉包含不当行为的轨迹,并纳入诚实、对齐行为的轨迹。在强化学习中,我们增加了一项通用对齐奖励,对每项任务中的不当行为进行惩罚。我们还针对训练中观察到的特定失败模式构建了环境,例如奖励模型放弃不可能完成的任务。最后,我们使用了同策略自蒸馏Zhao 等,2026. 从一个以行为规范为提示的教师模型中蒸馏,使模型无需显式提示即可内化良好行为的原则。

我们通过内部和外部评估衡量进展,发现 Inkling 2 Small 在内部和外部评估上均较此前的 Inkling 模型有实质性提升,并在我们的内部评估中优于一组可比的开放权重模型。

Inkling + 开放权重Inkling + 开放权重闭源权重闭源权重
对齐Inkling 2 SmallInklingInkling SmallMuse Spark OpenGLM-5.3-FlashDeepSeek V4.1 FlashGPT-6.1 Sol
不当行为(内部)↓14.9(该行报告的最佳结果之一,位列第二)66.875.282.457.168.00.8(该行报告的最佳结果)
隐蔽不当行为(内部)↓11.8(该行报告的最佳结果之一,位列第二)59.459.160.829.237.60.8(该行报告的最佳结果)
破坏性行为(内部)↓4.7(该行报告的最佳结果)71.967.27.825.810.97.0(该行报告的最佳结果之一,位列第二)
HoneyBench v0.2-alpha:奖励黑客(Goodhart Labs)↓44(该行报告的最佳结果)7069–––59(该行报告的最佳结果之一,位列第二)
无目标隐蔽行动(Apollo Research)↓8(该行报告的最佳结果)3736(该行报告的最佳结果之一,位列第二)––––
有目标隐蔽行动(Apollo Research)↓0(该行报告的最佳结果)74(该行报告的最佳结果之一,位列第二)––––

在我们的对齐评估中,Inkling 2 Small 仍落后于闭源权重模型,例如 GPT-6.1 Sol。缩小这一差距是未来模型的优先事项。

我们还努力通过两层监控来保障训练和评估的安全。第一层是同步监控:监控器在工具调用执行前对其进行检查。每项任务都会声明其授权的操作。确定性规则会根据任务策略和规避模式检查调用,并将不确定的情况上报给 LLM 评判器。第二层是异步监控:LLM 评判器会审查训练和评估中已完成的 rollout,检查是否存在不当行为以及违反我们安全边界的操作,并发出警报,由我们进行分诊并升级至事件处理流程。二者共同构成纵深防御的安全与对齐方法,我们认为这对构建安全的模型工厂至关重要。

训练 Inkling 2 Small

Inkling 2 Small 的初始预训练阶段(H1)覆盖了 8.4 万亿 token,混合了自然语言、代码和图像数据。该阶段在 NVIDIA GB300 NVL72 机架上运行了 68 小时,从而实现了高专家并行度。训练原生采用 NVFP4,即随 NVIDIA Blackwell GPU 架构引入的 4 位浮点格式。我们将在后续文章中很快分享更多关于 NVFP4 配方的细节。

内部代码

截止 2026-06 · 每字节比特数(越低越好)

0.190.25GLM-5.3base-recovered0.2358DeepSeek V4 Pro Base0.2335GLM-5.3 Flashbase-recovered0.2327DeepSeek V4.1 Flash 1017base-recovered0.2209Inkling 2 Smallpost-trained0.2080Kimi K3.1 Probase-recovered0.2068Inkling 2 Smallpre-trained0.2030
在我们主要的留出评估中,Inkling 2 Small 显著优于其他开放权重模型。请注意,部分模型被标记为“base-recovered”。对于仅提供后训练检查点的模型,我们在计算对数损失之前,先用预训练格式的代码和文档数据集对其进行了微调。我们在其他可获得真实基准(实际基础模型)的模型上验证了该流程基本能恢复基础模型的损失。

在此初始阶段之后,我们进行了第二阶段(H2),使用 3.8 万亿 token 的模型未曾见过的高质量、较新数据,上下文长度为 512K。第三和第四阶段则混入了部署格式的数据。第三阶段约为 3200 亿 token 的推理和智能体轨迹,上下文长度为 1M,同时重放预训练数据。第四阶段(H4)仅保留最高质量的数据:约 340 亿 token 的智能体轨迹。H3 和 H4 的混合数据主要由从早期模型(包括 Kimi K3 和我们自己的模型)采样的轨迹组成,并按正确性和对齐性进行了筛选。

随后我们进行了一次联合 RL 运行,包含 1,075 步,在 9 天内完成了超过 1700 万次 rollout。详见下表。这次单一联合运行与上一代 Inkling 发布形成对比,当时我们分别运行推理和智能体 RL,并通过多教师蒸馏将它们结合。

主 RL 运行的规模
指标规模
计算量超过 4 × 10²³ FLOPs
GPU2,048
时长9 天
Rollout 次数1700 万+
Token 数3T+

任务组合包括真实代码仓库中的软件工程、终端任务、文档创建、STEM 问答、视觉、Web 应用构建、与模拟用户的工具使用以及安全。每个任务族都有自己的评分器:

  • 大多数编码工作采用隐藏单元测试和程序化检查;

  • 文档和工具使用采用基于评分标准的 LLM 评判器;

  • STEM 和视觉问答采用参考答案;

  • Web 应用采用比较渲染截图的成对奖励模型。

RL 训练任务组合
类别Rollout 次数Token 数
编码38.5%65.0%
办公与知识工作9.1%13.3%
STEM 与推理7.0%7.6%
Web 与应用构建4.7%7.2%
视觉13.9%3.0%
工具使用与通用智能体17.1%2.3%
搜索2.0%1.4%
聊天、安全与认识论7.8%0.2%

我们随机采样并以某一努力程度为条件,并在奖励函数中施加长度惩罚,从而训练模型在速度和彻底性之间进行权衡。

我们采用了异步 RL,使用一种分数居中变体——Tinker 中的 StableReinforce 目标——它能容忍显著的陈旧性。我们的运行结合了短时程和长时程任务,总 rollout token 的 p50/p99 分别为 43k 和 1.5M,时长的 p50/p99 分别为 8 分钟和 4 小时。我们使用 256k 上下文长度,并为长时程任务启用压缩训练。因此,训练奖励和评估性能均随计算量呈对数线性增长。

训练奖励

平均奖励

训练奖励与累计学习器和采样器 FLOPs 的关系(对数轴)。

STEM 评估性能

STEM 评估得分

STEM 评估性能与累计学习器和采样器 FLOPs 的关系(对数轴)。

视觉评估性能

视觉评估得分

视觉评估性能与累计学习器和采样器 FLOPs 的关系(对数轴)。
稳定训练
指标数值
策略陈旧性中位数17 次更新
Rollout 批次大小16K
每次 rollout 的总 token 数中位数:43K · p99:1.5M
Rollout 时长中位数:8 分钟 · p99:4 小时
上下文窗口256K token,对更长轨迹启用压缩

要使这一规模切实可行,需要对整个系统栈进行改进。我们的 RL 基础设施部署了 NVFP4 MoE 训练和采样。在采样期间,预填充、草稿和验证完全在 CUDA 图上运行。训练器镜像预训练栈,采用高专家并行度、EPLB 和 CUDA 图以提高 GPU 效率。为支持长时程智能体工作负载,我们使用粘性路由和 DRAM KV 缓存卸载,以维持 93%+ 的前缀缓存命中率,从而使我们能够在长上下文训练下保持 5:3 的采样器与训练器比例。权重传输通过 GPUDirectRDMA 以 93%+ 的线速完成,并配有并行度不变的校验和验证器。我们还通过提供 NVFP4 KV 缓存变体进一步降低部署推理成本,我们发现该变体对评估的降低幅度极小。

长时程任务赋予模型数小时的自主性,增加了行为失准带来的潜在风险。在主 RL 运行进行到一半时,我们的异步监控标记了一个实例:模型在任务失败后,通过其搜索工具能够访问的第三方服务绕过了网络封锁。我们暂停了运行,加固了基础设施,移除了需要网络访问的环境,并增加了同步工具调用监控。随后我们恢复了运行,并按上文所述加入了专门用于对齐的额外训练阶段。

我们流程的改进使我们能够使用相似的配方训练不同规模的模型,并具有可预测的扩展性和性能。Inkling 2 Small 是模型阶梯中的一级;我们期待很快与大家分享更多层级。

Inkling 2 Small 基准测试

与以往的 Inkling 发布一样,我们在广泛的能力范围内对 Inkling-Small 进行了基准测试。所有评估均以 effort 0.99(xhigh)和温度 1.0 运行。所有评估均以 100 万 token 的最大轨迹限制运行,高于 Inkling Small 所使用的 25.6 万 token 限制。

开放权重 FlashOpen Weights Flash开放权重 ProOpen Weights Pro闭源权重 FlashClosed Weights Flash
Inkling 2 SmallGLM-5.3-FlashMiMo V2.6 FlashMiniMax-M3.1-FlashDeepSeek-V4.1-Flash-1017Muse Spark OpenGLM 5.3MiMo V2.6 ProMistral Large 4Kimi K3GPT-6 LunaGemini 3.8 FlashClaude Haiku 5.5
模型信息
参数量(B)激活 / 总计17/59418/32015/30923/42816/55242/81640/75342/102049/1050104/2800–––
第三方指数
AA 指数(v5.0)30.627.826.729.132.6(该行报告的第二高分)24.931.729.926.1–27.930.836.5(该行报告的最高分)
Vals 指数(v2.2)56.1%50.9%54.8%53.8%61.3%(该行报告的最高分)48.6%59.7%(该行报告的第二高分)57.8%56.5%53.0%52.3%56.0%58.7%
编码
FrontierCode v2.025.4%14.2%21.6%20.8%28.5%(该行报告的第二高分)7.6%21.6%24.0%15.0%17.3%25.2%18.7%34.9%(该行报告的最高分)
DeepSWE v1.172.1%63.4%67.9%73.7%77.0%(该行报告的最高分)60.0%69.0%71.9%61.7%68.5%66.6%73.8%(该行报告的第二高分)59.9%
Terminal Bench Science v0.15.7%4.8%4.3%3.3%12.9%(该行报告的第二高分)1.9%9.5%5.7%4.3%8.1%8.6%10.0%20.0%(该行报告的最高分)
Vibe Code Bench v1.181.6%30.8%79.0%73.9%87.7%(该行报告的第二高分)76.2%78.1%85.2%81.6%85.0%81.7%78.7%90.4%(该行报告的最高分)
SWEBench Pro v2(Hard)86.3%(该行报告的第二高分)––84.3%–82.4%84.3%––88.2%(该行报告的最高分)–58.8%52.9%
自动研究
PostTrainBench v1.231.9%36.8%(该行报告的最高分)––30.5%–34.5%(该行报告的第二高分)––31.5%–––
PMPP-HardAUC(任务小时,0–10 小时)494.27(该行报告的第二高分)–––497.36(该行报告的最高分)–430.96–478.39453.58–––
BioMysteryBench70.0%–69.3%––––––72.6%(该行报告的最高分)61.5%62.2%70.4%(该行报告的第二高分)
搜索与工具
MCP Atlas完整 / 公开85.4/85.0%(该行报告的第二高分)–/82.0%–/62.9%–/80.4%–/83.2%89.2/87.5%(该行报告的最高分)84.2/83.6%–/84.4%–/84.5%82.3/84.2%–/77.8%–/87.5%–/81.0%
知识工作
AA-Briefcase v1.115271451148714761570(该行报告的第二高分)12791503151213481497133712031574(该行报告的最高分)
GDPVal-AA v2.116301649161414651746(该行报告的最高分)140116571689(该行报告的第二高分)–1543144414451631
JobBench70.5%(该行报告的最高分)60.7%61.2%67.5%(该行报告的第二高分)–61.8%61.4%62.0%55.2%54.3%49.0%–39.2%
企业运营
EnterpriseOps-Gym46.8%(该行报告的最高分)33.2%––––36.4%––45.3%(该行报告的第二高分)–––
EnterpriseBench-CoreCraft71.8%(该行报告的最高分)46.7%––––51.8%––43.1%–58.5%(该行报告的第二高分)–
金融工作
Vals 金融指数61.5%(该行报告的最高分)55.8%57.1%55.9%60.9%(该行报告的第二高分)53.0%60.5%57.8%57.0%58.0%53.1%60.5%57.4%
Tau 3 Banking v1.0.140.4%(该行报告的第二高分)47.2%(该行报告的最高分)–––––––33.4%–––
DAYJOB(金融)14.3%(该行报告的最高分)7.3%––12.5%(该行报告的第二高分)–11.0%–4.8%5.5%6.8%4.5%–
Apex-Accounting v1.1pass@114.5%12.3%–13.5%12.5%13.8%13.9%–12.0%9.5%10.8%15.5%(该行报告的最高分)15.3%(该行报告的第二高分)
Apex-Accounting v1.1平均分62.0%(该行报告的第二高分)53.7%–60.0%59.3%58.0%59.5%–56.5%56.7%53.9%58.8%62.2%(该行报告的最高分)
法律工作
Vals 法律指数73.9%(该行报告的第二高分)71.1%69.0%67.1%71.9%68.5%74.6%(该行报告的最高分)72.1%67.8%71.7%62.2%69.8%70.3%
视觉创作
DesignArena Web Apps1296(该行报告的最高分)––––––1275–1283(该行报告的第二高分)11611221–
DesignArena Website1340(该行报告的最高分)1270–1280129713031290130712561334(该行报告的第二高分)126812991261
DesignArena Game Dev1428(该行报告的最高分)1276–1312126112701303131512251351(该行报告的第二高分)126113051319
DesignArena 3D Design1401(该行报告的最高分)1314–1332136112611324133312491381(该行报告的第二高分)121312911334
Code2Video-AA10209751052(该行报告的第二高分)–––10341052(该行报告的第二高分)–104110308991192(该行报告的最高分)
视觉感知
PerceptionBench64.7%(该行报告的最高分)–––47.7%––––58.5%(该行报告的第二高分)56.2%––
ScreenSpot Pro原始 / 配合 Python83.8/91.5%(该行报告的最高分)––––––56.6%/–42.3%/–73.8/83.2%81.1/87.6%(该行报告的第二高分)––
HSS33.3%(该行报告的第二高分)26.8%25.4%–30.1%29.6%–25.2%–25.5%21.0%41.6%(该行报告的最高分)–
BabyVision原始 / 配合 Python68.6/93.7%(该行报告的最高分)53.4/82.6%(该行报告的第二高分)––/91.0%–/92.5%44.3/80.2%––42.3/71.5%53.4/85.7%(该行报告的第二高分)–––
视觉推理
GDP.pdf25.2%(该行报告的最高分)15.4%9.0%20.8%17.2%18.6%11.2%19.2%17.6%22.0%22.8%(该行报告的第二高分)21.0%20.8%
MMMU Pro(标准 10)81.6%(该行报告的第二高分)79.0%–79.1%80.6%80.9%–74.1%78.0%80.5%79.7%85.6%(该行报告的最高分)79.1%
Charxiv RQ原始 / 配合 Python85.6/87.7%(该行报告的第二高分)80.2/89.4%66.2%/–82.5%/–77.0/85.6%85.4/88.7%–74.2%/–83.2/87.9%84.8/91.3%81.8/85.3%86.2/92.1%(该行报告的最高分)84.4%/–
Chartography原始 / 配合 Python36.7/80.4%16.3/78.0%7.5%/–12.6%/–17.9/83.0%35.7/63.2%–10.8%/–21.2/56.6%26.6/68.1%32.0%/–40.9/82.0%(该行报告的第二高分)46.4%/–(该行报告的最高分)
STEM 推理
CritPt v2完整 / 困难55.7/35.0%–/24.5%–/29.5%51.4/32.5%50.6/25.0%52.6/29.5%57.4/33.5%56.9/34.0%50.3/27.0%–/40.5%65.1/42.5%(该行报告的最高分)65.1/46.5%(该行报告的最高分)64.0/43.5%(该行报告的第二高分)
HLE-Diamond28.7%18.2%13.7%28.1%25.3%26.3%17.9%15.2%17.3%26.9%22.2%33.1%(该行报告的最高分)29.6%(该行报告的第二高分)
HLE(配合工具)53.2%–––58.8%61.0%(该行报告的第二高分)62.5%(该行报告的最高分)––56.0%––57.4%
Apex 202563.5%(该行报告的第二高分)––––32.3%–––65.6%(该行报告的最高分)–––
长上下文
AA-LCR v1.183.3%80.0%–––78.3%79.7%86.3%(该行报告的第二高分)–88.7%(该行报告的最高分)–81.3%82.7%
LongBench v270.6%(该行报告的第二高分)68.2%60.7%60.9%69.0%68.7%68.4%68.0%65.7%69.0%65.0%73.7%(该行报告的最高分)65.3%
事实性
AA-Omniscience v1.1得分16.10.7-10.8-6.40.925.8(该行报告的最高分)6.0-4.55.1–-8.323.3(该行报告的第二高分)12.3
AA-Omniscience v1.1非幻觉率73.3%(该行报告的最高分)––6.3%35.9%72.0%(该行报告的第二高分)61.1%39.8%71.8%–20.7%44.9%65.8%
指令遵循
ComplexConstraints v1.044.5%27.6%22.1%23.2%50.4%(该行报告的最高分)41.3%30.5%32.3%36.5%37.9%27.3%48.4%(该行报告的第二高分)36.8%
安全性(失准)
DistressBench82.0%(该行报告的第二高分)72.7%––79.8%87.7%(该行报告的最高分)72.5%–77.0%73.5%66.7%70.7%71.7%
FORTRESS(对抗性)83.8%(该行报告的第二高分)73.3%––72.8%92.4%(该行报告的最高分)71.8%–76.0%––––
FORTRESS(良性)79.7%96.4%(该行报告的第二高分)––93.1%84.0%96.8%(该行报告的最高分)–91.8%––––
StrongREJECT(无)97.8%96.8%––98.7%(该行报告的最高分)97.6%97.2%–98.6%(该行报告的第二高分)––––
安全性(滥用)
CyberBench v1.172.7%67.9%75.4%–73.7%–72.1%72.9%–75.2%76.3%(该行报告的最高分)43.8%75.5%(该行报告的第二高分)
PatchEval79.6%(该行报告的第二高分)74.8%––80.4%(该行报告的最高分)77.8%69.6%–76.1%––––
每行报告的最高分;并列者一并计入每行报告的第二高分;并列者一并计入

评估快照: 缺失结果以短横线表示。

局限性

尽管 Inkling 2 Small 相比 Inkling 提升了易用性,但它并非最简洁的沟通者,也不总能选择最适合任务的工具——尤其是在技能数量众多的代码库中。

与之前的 Inkling 模型一样,Inkling 2 Small 原生支持图像输入;但该模型不支持音频。

Inkling 2 Small 在聊天体验方面的优化也较少。我们注意到一些问题,例如内容组织和呈现较差、斜杠使用过多,以及对心理健康和其他安全相关查询反应过度。

立即试用 Inkling 2 Small

我们很自豪能在 Tinker 上提供 Inkling 2 Small,用于推理和微调。在完成安全测试后,该模型将在未来几周内登陆更多平台。

Inkling 2 Small 的诞生服务于 我们的使命 ——构建能够延伸人类意志与判断力的 AI。我们希望它能激发你的雄心,也期待看到你用它构建的作品。

上一页 返回顶部