今天,我们正式发布 Inkling 2 Mini:一款速度快、能力强,并且小到足以在笔记本电脑上运行的模型。
Inkling 2 Mini 是一种循环 Transformer,其中间层会针对每个 token 运行三次。这让模型能够进行更多推理,以更少的 token 得出正确答案,尤其适合智能体编程等依赖推理质量的任务。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基准测试中,Inkling 2 Mini 的表现领先所有总参数量低于 100B 的开放权重模型。它的运行速度也快于性能相近的模型。
DeepSWE v1.1
已解决任务(%)
已解决任务(%)
SWE-bench Pro v2 困难版(51 项任务)
已解决任务(%)
已解决任务(%)
Inkling 2 Mini 是一个混合专家模型,总参数量为 26.4B,激活参数量为 3.4B;考虑到循环,每个 token 的权重激活量为 5.4B。循环让模型无需写下推理过程便能进行更长时间的推理,这对于可监控性至关重要:也就是我们通过阅读模型的思维链(CoT),监督并理解其行为的能力。
我们使用 Inkling 2 Mini 及与其一同发布的研究专用可变循环版本,测量了循环对性能和可监控性的影响。可变循环模型在无 CoT 情况下的时间跨度,从单次运行时的 16 秒提升至三次运行时的 37 秒;它在串行推理基准测试中的表现一直到十次循环仍在改善——这是训练时循环次数的两倍。随着循环次数增加,模型的思维链变得更短,但始终清晰易读。在智能体破坏行为测试中,模型的得分并未随着循环次数增加而呈上升趋势。
我们很高兴能向研究人员提供首批采用循环架构的模型。我们的可监控性实验使用了可变循环模型,因为它能让不同循环深度之间的比较更加清晰。
Inkling 2 Mini 的大部分权重均以 NVFP4 原生格式训练和部署,最后四层则采用 MXFP8。Inkling 2 Mini 的总内存占用约为 20GB,因此可以在消费级笔记本电脑和桌面 AI 计算机等本地设备上运行。我们的研究人员在一次飞行途中使用 Inkling 2 Mini;它在 MacBook Pro 上离线运行,并在几分钟内构建了一个可玩的飞行模拟器。
Inkling 2 Mini 以开放权重形式发布,现已可在 Tinker 上用于推理和定制。
能力
Inkling 2 Mini 的优势与 Inkling 2 Small 相似:它最擅长长时间跨度的智能体任务,并且在我们测量的大多数任务中,是同等规模开放权重模型里的最佳模型。
在 DeepSWE v1.1 和 SWE-bench Pro v2 等智能体编程基准测试中,Inkling 2 Mini 的得分领先所有同类模型;在其他此类测试中,它仅落后于 Qwen3.8-27B。在内核优化基准 PMPP-Hard 上,它的得分接近规模大得多的 Inkling 2 Small。
尽管循环能提升模型的推理能力,但无法让其权重存储更多事实——知识量主要取决于总参数量。在衡量事实准确性的 AA-Omniscience 测试中,Inkling 2 Mini 的得分与同等规模的其他模型相当。通过研究 可变循环模型,我们发现,随着运行次数增加,GraphWalks BFS 和 MRCR v2 等长上下文基准测试的表现会有所提升;但 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA 等知识密集型基准测试的表现并不会随着运行次数增加而改善。
Inkling 2 Mini 通过高效使用搜索和工具弥补了知识差距。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它领先同等规模的开放权重模型。在整合搜索和工具使用的知识工作基准测试中,它的表现也很强。
| Inkling 2 Mini | Gemma 4 31B | Muse Glimmer | Qwen3.8-27B | Nemotron 3.5 Super VL | |
|---|---|---|---|---|---|
| 模型信息 | |||||
| 参数量(B):激活参数量/总参数量 | 5.4/26.4 | 30.7/30.7 | 30.0/30.0 | 27.0/27.0 | 12.0/124.5 |
| 第三方指数 | |||||
| AA Index(v5.0) | 20.1(本行所报告的最佳得分) | 4.4 | 6.3 | 20.1(本行所报告的最佳得分) | 13.6 |
| Vals Index(v2.2) | 46.5%(本行所报告的最佳得分) | – | – | – | 29.8%(本行所报告的第二高得分) |
| 编程和自动研究 | |||||
| FrontierCode v2.0,stirrup v0.2.1 | 15.1%(本行所报告的最佳得分) | 0.0% | 1.5% | 14.9%(本行所报告的第二高得分) | 6.1% |
| DeepSWE v1.1,mini-swe-agent v2.4.6 | 48.2%(本行所报告的最佳得分) | 0.3% | 4.4% | 42.2%(本行所报告的第二高得分) | 24.7% |
| Terminal Bench v4.0,mini-swe-agent v2.4.6 | 5.6%(本行所报告的最佳得分) | 0.0% | 0.5% | 5.6%(本行所报告的最佳得分) | 0.0% |
| Terminal Bench v2.1,pi v0.83.0 中的 Inkling 2 Mini | 71.6%(本行所报告的第二高得分) | 43.4% | 51.7% | 73.0%(本行所报告的最佳得分) | 60.7% |
| SWEBench Pro v2(困难版),mini-swe-agent v2.4.6 | 77.9%(本行所报告的最佳得分) | 14.2% | 44.3% | 73.8%(本行所报告的第二高得分) | 44.1% |
| SWEBench Multilingual,仅使用 bash 的 Inkling 2 Mini | 73.7%(本行所报告的最佳得分) | 43.0% | 66.9% | 70.0%(本行所报告的第二高得分) | 67.7% |
| SWEBench Verified,仅使用 bash | 79.2%(本行所报告的最佳得分) | 46.1% | 76.0% | 77.8%(本行所报告的第二高得分) | 71.1% |
| Vibe Code Bench v1.1,openhands(vals) | 77.9%(本行所报告的最佳得分) | – | – | 64.9%(本行所报告的第二高得分) | 3.5% |
| PMPP-Hard(AUC,0–10 小时),pi v0.83.0 | 455.82(本行所报告的最佳得分) | – | – | 262.50(本行所报告的第二高得分) | – |
| 智能体搜索、工具使用和知识工作 | |||||
| BrowseComp,启用上下文压缩的 Inkling 2 Mini | 79.0%(本行所报告的最佳得分) | 37.0% | 63.9% | 61.6% | 78.9%(本行所报告的第二高得分) |
| DeepSearchQA,启用上下文压缩的 Inkling 2 Mini | 85.3%(本行所报告的最佳得分) | 61.7% | 74.6% | 79.7%(本行所报告的第二高得分) | 77.7% |
| MCP Atlas(公开版) | 82.7%(本行所报告的最佳得分) | 54.2% | 75.5% | 77.3%(本行所报告的第二高得分) | 67.7% |
| AA-Briefcase v1.1 | 1263(本行所报告的第二高得分) | 369 | 478 | 1391(本行所报告的最佳得分) | 999 |
| GDPVal-AA v2.1 | 1319(本行所报告的第二高得分) | 627 | 792 | 1427(本行所报告的最佳得分) | 1162 |
| JobBench | 49.6%(本行所报告的最佳得分) | 8.2% | 16.1% | 33.4% | 36.5%(本行所报告的第二高得分) |
| AutomationBench-AA v1.0.6 | 41.8%(本行所报告的第二高得分) | 4.9% | 6.8% | 48.2%(本行所报告的最佳得分) | 14.8% |
| EnterpriseOps-Gym | 42.0%(本行所报告的第二高得分) | 28.4% | 34.7% | 44.2%(本行所报告的最佳得分) | 28.1% |
| Vals Finance Index | 50.1%(本行所报告的最佳得分) | – | – | – | 41.0%(本行所报告的第二高得分) |
| AA-AnalystAgent | 46.3%(本行所报告的最佳得分) | – | 20.0%(本行所报告的第二高得分) | – | – |
| Diligence Bench,最佳工具框架 | 48.6%(本行所报告的最佳得分) | – | 40.9% | 46.4%(本行所报告的第二高得分) | 45.0% |
| 视觉理解与创作 | |||||
| GDP.pdf | 16.8%(本行所报告的最佳得分) | 6.0% | 11.8% | 16.4%(本行所报告的第二高得分) | 8.0% |
| PerceptionBench | 57.5%(本行所报告的最佳得分) | 40.7% | 42.8% | 52.4%(本行所报告的第二高得分) | 36.8% |
| MMMU Pro,标准版 10 | 74.9%(本行所报告的第二高得分) | 73.4% | 74.3% | 76.3%(本行所报告的最佳得分) | 72.3% |
| OmniDocBench v1.6 | 92.8%(本行所报告的最佳得分) | 82.5% | 90.4% | 91.5%(本行所报告的第二高得分) | 77.9% |
| ScreenSpot Pro,原始版/使用 Python | 76.5/87.7%(本行所报告的最佳得分) | 5.9%/– | 75.4%/–(本行所报告的第二高得分) | 57.6/78.9% | 43.5%/– |
| Chartography,原始版/使用 Python | 22.1/72.5%(本行所报告的最佳得分) | 12.0/11.8% | 17.4/25.1%(本行所报告的第二高得分) | 12.2/52.1% | 9.7/29.3% |
| ZeroBench(主测试),原始版/使用 Python | 17.0/34.0%(本行所报告的最佳得分) | 9.0/12.0% | 9.0/17.0% | 12.0%/–(本行所报告的第二高得分) | 11.0/12.0% |
| MuirBench | 77.5%(本行所报告的第二高得分) | 72.3% | 77.6%(本行所报告的最佳得分) | 65.9% | 72.7% |
| BVB | 68.4%(本行所报告的第二高得分) | 47.0% | 50.5% | 70.7%(本行所报告的最佳得分) | 52.1% |
| 推理、知识与认知论 | |||||
| HLE-Diamond | 15.2%(本行所报告的第二高得分) | 7.2% | 9.1% | 15.3%(本行所报告的最佳得分) | 8.8% |
| CritPt v2,完整版/困难版 | 31.4/17.0%(本行所报告的最佳得分) | –/4.0% | –/7.0% | 10.6/4.0% | 36.9/13.5%(本行所报告的第二高得分) |
| Apex 2025 | 34.4%(本行所报告的最佳得分) | 5.2% | 4.2% | 18.8% | 22.9%(本行所报告的第二高得分) |
| ARC-AGI v1/v2 | 84.5/49.3%(本行所报告的最佳得分) | – | – | 87.5/42.4%(本行所报告的第二高得分) | 22.7/1.5% |
| LongBench v2 | 66.9%(本行所报告的最佳得分) | 52.9% | 33.1% | 52.3% | 62.1%(本行所报告的第二高得分) |
| GraphWalks BFS 256K | 69.7%(本行所报告的最佳得分) | – | – | 50.4% | 63.3%(本行所报告的第二高得分) |
| MRCR v2,8 针,256K–512K | 46.4%(本行所报告的最佳得分) | – | – | 38.0%(本行所报告的第二高得分) | 5.7% |
| AA-Omniscience v1.1 得分 | -8.6 | -48.5 | -32.2 | -6.4(本行所报告的第二高得分) | -2.9(本行所报告的最佳得分) |
| AA-Omniscience v1.1 非幻觉率 | 63.4% | 14.5% | 16.4% | 71.4%(本行所报告的最佳得分) | 69.5%(本行所报告的第二高得分) |
| ComplexConstraints v1.1,openhands v1.45.0 | 33.4%(本行所报告的第二高得分) | 31.6% | 35.6%(本行所报告的最佳得分) | 30.1% | 30.1% |
| 安全与对齐 | |||||
| FORTRESS(对抗性测试,公开版) | 89.5%(本行所报告的第二高得分) | 67.8% | 90.3%(本行所报告的最佳得分) | 78.8% | 79.6% |
| FORTRESS(良性测试,公开版) | 96.4% | 97.6%(本行所报告的第二高得分) | 89.1% | 97.8%(本行所报告的最佳得分) | 92.7% |
| StrongREJECT(无) | 97.8% | 98.1% | 99.0%(本行所报告的并列第二高得分) | 99.0%(本行所报告的并列第二高得分) | 99.4%(本行所报告的最佳得分) |
| 不当行为(内部测试)↓ | 9.8%(本行所报告的最佳得分) | 27.6%(本行所报告的第二高得分) | 46.4% | 57.7% | 52.8% |
| 隐蔽的不当行为(内部测试)↓ | 8.3%(本行所报告的最佳得分) | 24.3%(本行所报告的第二高得分) | 45.6% | 33.2% | 43.4% |
| 破坏性操作(内部测试)↓ | 10.2%(本行所报告的最佳得分) | 75.8% | 68.8% | 35.2%(本行所报告的第二高得分) | 65.6% |
斯坦福大学的研究人员以每焦耳智能衡量效率:大语言模型每次查询需要消耗多少能量,才能达到给定的性能水平。斯坦福大学的 Hazy Research Lab 和 Scaling Intelligence Lab 获得了 Inkling 2 Mini 的早期测试权限。Inkling 2 Mini 在 NVIDIA DGX Spark 上运行时得分为 0.703,显著高于其他模型:Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159,Qwen3.5-27B 为 0.036。《每瓦智能:衡量本地 AI 的智能效率》,Saad-Falcon、Narayan 等人,2025 年。在这项实验中,Inkling 2 Mini 以 MXFP8 精度和较低推理强度在 NVIDIA DGX Spark(128GB)上运行。其他模型则分别以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)及 INT4(Qwen3.5-27B)运行。
效率与性能兼备,使 Inkling 2 Mini 成为在本地硬件上运行多个持久智能体的有力选择。注重节能的 Thinkyville 村中,全部 20 位居民均由一台离线 MacBook 上运行的 Inkling 2 Mini 管理。
局限性
Inkling 2 Mini 并不是最擅长多轮对话或处理包含大量约束的指令的小型模型:它在 MultiChallenge 和 ComplexConstraints v1.1 上的得分分别为 50.0% 和 33.4%,两项均落后于 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 等强调推理能力的基准测试中,它也落后于更大的模型。
架构与训练
Inkling 2 Mini 是一个源自我们主线预测缩放阶梯的 24 层模型。相较于主线方案,主要变化是剪除三分之二的专家以缩小模型规模,并引入循环机制以提升推理能力。其余训练环节,包括量化和数据组合,均沿用我们的主线方案。
循环设计
Inkling 2 Mini 有 24 层,分为四个区块,每个区块包含六层。中间两个区块运行三次,而首尾两个区块各运行一次。这一设计建立在此前关于循环 Transformer 的研究之上,其出发点是:模型的中间层承载更多抽象推理,而最前面和最后面的若干层则将更多容量用于在嵌入与内部表示之间进行转换。《通用 Transformer》,Dehghani 等人,2018 年。在我们的实验中,循环运行中间 12 层带来的准确率提升高于循环运行最后 12 层,在 28 项不同评估中有 27 项如此。
不同循环位置带来的等计算量增益
中间层(第 7–18 层)1.51–1.91×最后几层(第 13–24 层)1.24–1.36×1×1.25×1.5×1.75×2×我们的模型采用注意力残差。《注意力残差》,Kimi 团队:Guangyu Chen 等人,2026 年。每一层并非都将其输出加入同一个持续累加的总和,而是读取先前各区块的输出,并学习自身对这些输出的混合方式。这使循环之间能够传递更丰富的信息。每一遍都从前奏区块(第一个区块)的输出开始。第二遍和第三遍经过中间区块时,还会读取中间区块在上一遍中的输出,我们将其称为“消息”。
上一轮循环的消息通过一个门控机制与前奏区块的输出合并;该门控会对二者以及区块中先前各层的输出进行缩放。该门控在训练期间学习:最初会完全阻断消息,使每轮循环都以与非循环模型相同的方式开始,随后逐渐提高消息的增益。这使我们能够在训练期间以稳定的方式引入循环。
为了评估循环机制的影响,我们将未经剪枝的循环版本与缩放阶梯上未经剪枝的非循环模型进行了比较。非循环模型的训练计算成本低 7.5%,但要在 512k-token 智能体轨迹上达到循环版本的损失水平,则需要多使用 140% 的推理计算量。
NVFP4 与低比特量化
Inkling 2 Mini 使用 4 比特精度进行训练,我们已在一篇 近期关于连接主义的文章中对此作了介绍。从预训练到强化学习的所有前向传播中,我们均在专家层使用 4 比特 NVFP4 精度,并以专用内核提供支持,在 NVIDIA GB300 平台上进行硬件加速。最后 4 层的前向传播则以 8 比特精度(MXFP8)运行。
Inkling 2 Mini 部署权重时所用的数值精度与训练时相同——20 层采用 NVFP4,4 层采用 MXFP8——因此不存在量化转换损失。
剪枝与修复
Inkling 2 Mini 开始训练时的稀疏度为 48,即从 384 个专家中选取 8 个。在中期训练的某个时点,我们剪除了三分之二的专家,在每一层保留使用频率最高的 128 个专家。这样做是为了减少模型的总参数量,使其运行得更快,并能在本地硬件上运行。
剪枝后,模型使用从一个更大的内部 Inkling 模型蒸馏出的 1T token 进行训练。通过训练剩余专家接手已删除专家的工作,这一步恢复了模型在剪枝前的性能。
训练 Inkling 2 Mini
完成剪枝与修复后,Inkling 2 Mini 使用与 Inkling 2 Small 类似的数据组合进行了监督微调(SFT)。随后进行的强化学习(RL)在 2,000 个步骤中共使用了 2.2T token。与 Inkling 2 Small 相同,后训练阶段还包括用于对齐训练的同策略蒸馏。
循环 Transformer 的可监控性
理解和监督 AI 系统的一项关键工具是 监控其思维链 (CoT),即模型在解决问题的过程中写出的推理内容。CoT 监控之所以有用,部分源于标准的非循环 Transformer 架构:每个 token 只会通过固定的层堆栈一次。这限制了模型在必须输出一个 token 之前所能执行的连续计算步骤数量,因此,需要更多步骤的推理必须在生成的文本中完成,从而能够被读取。
循环运行 Transformer 的层可以提高这一上限。通过多次运行相同的层,循环模型无需增加更多参数即可提升其串行深度,这意味着它们会在通过思维链(CoT)将思考过程表达出来之前,在内部对每个 token 执行更多计算。未出现在 CoT 中的推理无法被 CoT 监控器捕捉,因此有人担心循环 Transformer 可能更难监督。
我们发布 Inkling 2 Mini 的原因之一,是让研究社区能够开展循环 Transformer 相关研究。我们尤其期待研究人员探究可监控性问题,并开发可解释性技术来理解循环内部的计算。
为了探索不同循环次数如何影响可监控性等模型属性,我们还训练了一个可变循环模型 TML-d24-varloop-research,因为 Inkling 2 Mini 仅支持固定的循环次数。为了实现可变循环,TML-d24-varloop-research 在一至五次循环的设置下进行了训练。TML-d24-varloop-research 主要以 3 次循环进行训练,对 1、2、4 和 5 次循环的训练较少。后面这些循环次数下的性能,可能低于专门针对它们进行训练所能达到的水平。详情请参阅模型卡。我们也已在以下平台公开提供该模型: Hugging Face.
下面介绍我们对循环如何影响可监控性的初步分析。总体而言,我们发现,循环增强了这些模型在不表达思维链的情况下所能完成的任务,但在这一规模下,我们尚未观察到其推理可监控性出现显著下降。
无 CoT 能力
第一步,我们通过比较相同规模的循环模型和非循环模型在完全不使用 CoT 作答的任务上的表现,衡量循环能够带来多少额外的推理能力。我们使用了 Think Fast,这是一个用于估算模型无 CoT 时间跨度的基准:即模型在不使用 CoT 的情况下能以 50% 的可靠度完成多长的任务,该任务长度以人类完成所需时间衡量。这些模型并未接受过无 CoT 答题训练。为了引出无 CoT 回答,我们预先填充了回复的开头,使模型必须跳过推理、直接作答。微调等其他引出方法或许能带来更高的无 CoT 性能,值得进一步探索。
正如预期,循环提升了无 CoT 能力,不过这种增益最终会趋于平缓。TML-d24-varloop-research 的无 CoT 时间跨度从一次循环时的 16 秒提高到三次循环时的 37 秒。其中一部分提升可能源于循环所提供的额外串行计算。超过三次循环后,时间跨度基本持平。有趣的是,该模型从未在超过五次循环的设置下训练,但以十次循环运行时,其性能也没有显著下降。
无 CoT 时间跨度
无 CoT 的 50% 时间跨度(人类用时,秒)
当循环次数超过三次后,增益会变小,而且我们在大多数任务上观察到的表现相近。N-Hop Lookup 任务是一个例外,它能够清晰评估串行推理:模型会获得若干包含虚构条目的查找表,并且必须在不写下任何内容的情况下沿着一条查找链逐步查找。我们发现,循环次数越多,模型能够沿着越长的链进行查找,性能一直提升到十次循环。
N-Hop Lookup
1 次循环2 次循环3 次循环5 次循环10 次循环准确率
在使用 CoT 的标准评测中,我们观察到,增加循环次数带来的主要收益体现在多跳推理上,而非记忆调用。长上下文检索(MRCR)的增益最大,其次是数学与科学推理(HMMT、GPQA Diamond、HLE)以及长时间跨度的智能体任务(SWE-bench Pro、BrowseComp)。闭卷事实问答的表现几乎不受循环次数影响(SimpleQA Verified、WorldVQA)。完整评测结果请参阅 模型卡 。
CoT 可监控性
接下来,我们通过两项评测来衡量随着循环次数增加,模型的 CoT 是否会减少对其推理过程的揭示。首先,我们评估了循环对模型 CoT 压缩程度和可读性的影响。其次,我们衡量了模型 CoT 的可控性,即模型能否刻意重塑其 CoT 以满足约束条件。在每项评测中,我们都让 TML-d24-varloop-research 以一至五次循环运行,以研究循环的影响。
请注意,TML-d24-varloop-research 仅在中期训练期间使用 1 至 5 次的可变循环次数进行训练,其 RL 则采用 3 次循环。因此,这些实验并不能告诉我们,在更高循环次数下进行 RL 训练的模型会学到什么;这样的模型可能会更激进地压缩其推理。更严谨的比较应当在 RL 中涵盖每一种循环次数,我们将其留待未来研究。
压缩程度与可读性。 由于循环允许模型在每个 token 上投入更多计算,我们预计模型达到相同性能所需的 CoT token 应该会更少。我们让可变循环模型以 1 至 5 次循环运行,结果发现,随着循环次数增加,模型通常能在每种推理 token 预算下达到更高的准确率,但超过 3 次循环后收益递减。值得注意的是,GPQA Diamond 上的 token 效率从 3 次循环到 5 次循环仍有小幅提升,尽管该模型仅在 3 次循环时接受过 RL 训练。这表明,即使没有在该深度进行 RL,部分压缩也来自额外计算本身。
准确率与推理 token 数量的关系
1 次循环2 次循环3 次循环5 次循环Inkling 2 MiniGPQA Diamond 准确率(%)
DeepSWE v1.1 准确率(已解决任务的百分比)
观察到的 CoT 压缩引出了一个有关可监控性的问题:更短的推理是否仍然可读,还是会遗漏模型思考过程中的重要细节?我们比较了可变循环模型在五种循环次数下均正确回答的 GPQA Diamond 问题的推理轨迹。5 次循环时的推理长度不到 1 次循环时的一半(平均分别为 1,661 和 3,703 个 token),但可读性丝毫不差:句子长度和英语词典收录词汇所占比例均没有变化。初步分析表明,区别在于模型会更直接地得出答案,途中回溯更少。下面这个简单问题的示例说明了这种差异。
| 指标 | 1 次循环 | 3 次循环 | 5 次循环 |
|---|---|---|---|
| 平均推理 token 数 | 3703 | 1731 | 1661 |
| 平均每句词数 | 8.9 | 8.7 | 8.7 |
| 英语词典收录词汇所占比例 | 94.6% | 94.5% | 94.4% |
| 不确定性指示词,例如“wait”“actually”和“hmm” | 9.7 | 3.9 | 3.6 |
1 次循环582 个推理 token思考中……(节选)在一个非闰年中,3 月 1 日是星期二。同年 5 月 20 日是星期几?请在最后单独一行以 ANSWER: <value> 的格式给出最终答案。
Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.从 3 月 1 日到 5 月 20 日相隔 80 天。由于 80 ≡ 3 mod 7,而星期二加 3 天是星期五。
ANSWER: 星期五5 次循环240 个推理 token思考中……(节选)
March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.从 3 月 1 日到 5 月 20 日相隔 80 天。由于 80 ≡ 3 mod 7,因此星期二加 3 天是星期五。
ANSWER: 星期五
可控性。 模型逃避监控的一种方式,是引导其 CoT 避开任何会被监控器标记的内容。CoT-Control-QA 评测《推理模型难以控制其思维链》(Yueh-Han 等,2026)通过将 GPQA、HLE 和 MMLU-Pro 中的问题与一条关于 CoT 本身的指令配对来衡量这种能力,例如要求避开问题中的某个关键词。较长的 CoT 通常更难控制,因此我们汇总了五种推理强度(0.1、0.2、0.7、0.9 和 0.99)的回答,并展示 CoT 长度相匹配时的可控性。
Inkling 2 Mini 和 TML-d24-varloop-research 对其 CoT 的控制能力都很差。在长度为 750–1,250 个 token 的 CoT 中,Inkling 2 Mini 和 TML-d24-varloop-research(3 次循环)遵循指令的比例最多为 0.1%,相比之下,Inkling 2 Small 为 0.3%,Inkling-Small 为 0.4%,Qwen3.8-27B 为 1.3%。由于可控率非常低,这项评测无法区分不同循环次数下的可控性。
思维链可控性
Inkling 2 MiniInkling 2 SmallInkling-SmallTML-d24-varloop-research(3 次循环)Qwen3.8-27BCoT 可控性(对数刻度)
智能体场景下的可监控性
为了衡量智能体场景下的可监控性,我们使用了 LinuxArena。这是一项控制评测,用于衡量攻击者模型在被要求执行现实的软件工程任务时,能否在不被检测到的情况下完成恶意副任务。我们评估了 Inkling 2 Mini 的仅有用性微调版本,因为已发布的模型会拒绝许多副任务。从绝对值来看,这个模型和 TML-d24-varloop-research 都很容易被 Qwen3.8-27B 等模型监控;在我们的评测中,后者检测出了几乎所有副任务尝试。为了获得可监控性的相对排名,我们使用较弱的模型 Qwen3.6-35B-A3B 作为监控器进行了测试。
LinuxArena 隐匿率
仅查看工具调用和输出还可查看文本和思考过程95% bootstrap 区间隐匿率(占攻击回合的百分比)0%10%20%30%Qwen3.8-27B20.5%0.4%Inkling 2 Small3.2%0.5%Inkling 2 Mini(仅有用性)3.9%1.3%TML-d24-varloop-research(1 次循环)1.0%0.3%TML-d24-varloop-research(2 次循环)2.5%0.4%TML-d24-varloop-research(3 次循环)4.0%0.6%TML-d24-varloop-research(4 次循环)2.8%0.3%TML-d24-varloop-research(5 次循环)5.0%0.0%当监控器只能访问工具调用和输出时,它会漏掉相当一部分攻击。不过,我们没有发现隐匿率随循环次数变化的明确趋势。
在规模更大的模型中,尤其是在允许进行更多未言语化思考的架构中,追踪智能体场景下的可监控性将十分重要;我们鼓励继续研究循环在这种场景中的影响。
机制可解释性
可监控性的目标是理解模型正在做什么,而我们的主要方法是阅读其言语化的推理。另一种方法是直接研究其内部计算,这正是机制可解释性的目标。由于循环 Transformer 会在内部完成更多计算,我们认为它们是可解释性研究中一个格外有趣且重要的场景,并希望我们的循环模型能成为对研究社区有用的研究材料。
我们正在与 国家深度推理基础设施(NDIF) 合作,使这些模型更易于供可解释性研究人员使用。我们还向 Goodfire——一家可解释性研究实验室——提供了我们的循环模型的早期访问权限。他们正致力于从机制层面理解循环模型,并已将初步研究结果整理发布在 这里.
立即试用 Inkling 2 Mini
高效的智能使 Inkling 2 Mini 成为注重速度的推理任务或在本地硬件上运行时的理想选择。发布之初,我们支持通过 Ollama 在任何配备至少 32GB 内存的 Mac 系统(MacBook、Mac Mini)上运行 Inkling 2 Mini。凭借原生 NVFP4 训练和推理精度,Inkling 2 Mini 可在 NVIDIA 的 DGX Spark 桌面 AI 计算机上高效运行。通过 Unsloth 和 llama.cpp 可获取量化的 GGUF 版本,以进行本地推理。
Inkling 2 Mini 已在 Tinker 上提供推理和微调,并可在 Tinker Playground 中进行聊天。开源推理支持 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed,强化学习微调则支持 SkyRL、Miles 和 NVIDIA AutoModel。Inkling 2 Mini 及其可变循环变体的完整权重已在 Hugging Face 上发布。
我们致力于赋能每一个人 ,为人们提供强大的模型、让模型符合个性化需求的工具,以及推动公众理解 AI 的研究。Inkling 2 Mini 既能让研究人员研究循环 Transformer,也能让任何人在自己的笔记本电脑上以模型训练时所用的精度运行这一高性能模型。
上一页 返回顶部
AI 热点