AI 热点

Hugging Face 与 Thinking Machines Lab 发布本地模型 Inkling 2 Mini

Hugging Face更新于 11月21日 04:57

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

AI 导读

Hugging Face 与 Thinking Machines Lab 发布面向本地部署的混合专家模型 Inkling 2 Mini,并同步推出可调整循环次数的研究版本。模型以24个物理解码层实现每个 token 48次层访问,在48项基准中领先32项,支持文本、图像、推理和工具调用。官方提供 transformers、llama.cpp、MLX 与 SGLang 支持,以及 IQ4_NL 和 Q8_0 两种 GGUF 量化版本。

推荐理由

精选AI 评分 78

循环复用中间层在减少检查点独立权重的同时保留48次层访问,为本地模型架构提供了具体参考。

主题

标签

正文 · AI 翻译

Inkling 2 Mini 有哪些新变化?

Inkling 2 Mini 是一个混合专家模型,拥有 24 个解码器层,但中间的 12 层会循环运行三次。因此,该模型仅用 24 个物理层,就能像拥有 48 个逻辑层(6 + 3*12 + 6)一样运行。

与 Inkling 2 Small 类似,Inkling 2 Mini 对每个 token 执行 48 次层访问。其隐藏层大小为 2,304,而非 4,608。在每次层访问中,两种模型都会将 token 路由至 8 个专家,但 Mini 是从每层 128 个专家中选择,而 Small 则从 384 个专家中选择。解码器将第 0–5 层运行一次、第 6–17 层运行三次、第 18–23 层运行一次。第 6–17 层的三次运行均复用相同的权重。

Nanbeige 等架构此前已经探索过循环机制,但 Inkling 2 Mini 尝试了一种有趣的方法。每次通过循环核心(第 6–17 层)时,都会从相同的输入开始,即前六层的输出。信息通过跨轮次消息在各次运行之间传递。每个循环层都使用自己学习得到的查询,从上一次运行的输出中读取一条消息(其查询、键、值和 MLP 输入各使用一条消息)。随后,一个小型门控控制器会同时查看该层当前的输入和消息,并决定遗忘多少当前输入以及加入多少消息。因此,每次运行都会对上一次的计算结果进行细化。

每个六层模块都包含五个滑动窗口层和一个全注意力层。局部窗口最多容纳 1,024 个 token。注意力机制使用 24 个查询头和 8 个 KV 头,并采用学习得到的相对位置 logits、学习得到的 sink 和输出门。全注意力层使用动态键卷积和值卷积。路由器为每个 token 从 128 个 SwiGLU 专家中选择 8 个,对所选分数进行归一化,并将权重缩放 8 倍。在第 2 次和第 3 次运行期间,每个核心层都会关注上一次运行中的两个残差块。四个秩为 64 的门将不同的消息分别混入查询、键、值和 MoE 输入中。

文本解码器宽度为 2,304,每个专家的中间层宽度为 1,152。复用核心权重减少了检查点需要存储的不同层的数量。模型仍会执行全部 48 次访问,并且每次访问都保留各自的 KV 状态和短卷积状态。

除了旗舰模型 Inkling 2 Mini,还发布了一个研究成果。它采用相同的架构,但这一变体经过训练,可以接受可变的循环运行次数 🤯。将运行次数从 3 次设为 1 次或 2 次,可以大幅加快推理速度,但生成质量可能会略有下降。我们测试过这一变体,它确实可以运行,但尚未对其进行深入评估。

基准测试结果

Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5(AAv5)中达到了同类模型的最先进水平,并且在不同类别的许多基准测试中同样表现领先。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准测试中的 32 项上领先。这些测试涵盖编程与自动研究、面向知识工作的智能体搜索与工具使用、视觉理解与创作、推理与知识,以及安全与对齐。完整的基准测试及分数列表请参阅 Inkling 2 Mini 模型卡。

Inkling 2 Mini 是一款优秀的本地编程助手。它在 FrontierCode v2.0 中领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 并列,并在 AutomationBench-AA v1.0.6 上落后于 Qwen。你可以在下方查看我们在编程和知识工作方面的一些亮点。请注意,AA Briefcase 采用 ELO 评分,分数越高越好。

推理支持

本节将介绍如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。

Transformers

我们同时支持 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体。

使用 Inkling 2 Mini 的固定循环

你可以使用 AutoModelForMultimodalLM 类。

可变循环

要设置研究检查点中的循环次数,可以按如下方式修改 text_config 中的 loop_num_passes。以下示例使用两次循环。

图像与文本

对于图像提示,请将任一示例中的 messages 替换为下面的列表,然后照常进行推理。

推理强度

向 processor.apply_chat_template(...) 传入 reasoning_effort="medium",即可设置一次请求的推理强度。聊天模板会将对应的数值作为系统消息添加到提示中。默认值为 high(0.9)。

可用级别包括 none(0.0)、minimal(0.1)、low(0.2)、medium(0.7)、high(0.9;默认)、xhigh(0.99)和 max(0.99)。你也可以传入一个介于 0.0 和 0.99 之间的数值,例如 reasoning_effort=0.35。

工具调用

下面让模型调用一些工具。

在这个示例中,我们向模型询问给定地点的当前温度。在提供提示的同时,我们也提供了用于完成此任务的工具(get_current_temperature)。模型请求调用工具,我们代它调用该工具,然后将输出添加到下一组指令中。模型会使用工具输出并向我们提供最终结果。

如果你想进一步了解工具调用,建议查阅我们的官方文档。

Llama App 和 Llama.cpp

Llama App 可让你在 macOS(菜单栏)或 Windows(系统托盘)上轻松运行和管理本地语言模型。它基于 llama.cpp 构建,且由同一团队开发。该应用还提供兼容 OpenAI 的本地 API,便于与编程智能体、编辑器和脚本集成。

针对 Inkling 2 Mini,此次发布为两个模型都提供了 GGUF 4 位(IQ4_NL)和 8 位(Q8_0)量化版本。

如果你使用 Linux,或者想通过 CLI 部署模型,可以为固定循环模型运行以下命令:

要运行可变循环模型,可以运行

要加载 8 位权重,请将后缀改为 :Q8_0。

这里,我们要求 4 位模型为一个名为“植物疗愈”的 SaaS 制作网站,让植物与持证治疗师进行匹配。模型相当自主:它自行制作了网站视觉元素所需的 SVG,甚至构建了匹配逻辑。

SGLang

Inkling 2 Mini 自发布首日起便获得 SGLang 支持。你可以安装最新版 SGLang,并执行以下操作来启动并运行服务器。其中一个需要注意的前提条件是在 SM103 上运行。

服务器启动后,你应该可以像下面这样请求 API

还可以通过设置 --enable-multimodal 来启用多模态功能。

推测解码

SGLang 可以使用三层 DSpark 草稿模型为目标模型提出待验证的 token。该草稿模型会读取第 5、23 和 41 次访问解码器时的输入,以及索引 48 处最终完成归一化的状态。准备好草稿权重后,在服务器命令中添加 --speculative-algorithm DSPARK --context-length 131072。

我们分别在启用和未启用推测解码的情况下对模型进行了基准测试,并在单块 NVIDIA B300 GPU 上测量了生成速度。每个请求都包含一个 1,024 token 的提示,并恰好生成 1,024 个 token,并发数分别为 1、4、16 和 64。

MLX

我们已将 MLX 支持上游合入 mlx-lm 项目,其中包括多模态图像和文本输入,并通过 mlx-community 组织共享了量化版本。

MLX 推理也适用于原始检查点。在这种情况下,会直接使用原生 nvfp4 + mxfp8 量化方案,无需重新转换,从而获得作者原本预期的质量。

下面是一个 CLI 调用示例:

演示与氛围测试

我们让 Inkling 2 Mini 尝试了许多有趣的任务,请在本节中查看这些成果。

3D 着色器飞行漫游

同一提示生成了两段飞越程序化山脉和反射水面的日落漫游画面,每段都仅使用一个 WebGL 片段着色器渲染。

日落山脊(Inkling 2 Mini)

静海之上(Qwen 3.8 27B)

构建一个你力所能及的、最令人惊艳的原创实时场景:让摄影机以缓慢而富有电影感的方式飞越程序化生成的山脉,穿过体积云,并贴近带有倒影的水面低空飞行,整个场景都由日落照亮。请将其交付为当前目录中一个独立完整的 index.html,所有内容均通过代码在单个全屏 WebGL 片段着色器中渲染(不得使用任何纹理、图像、字体、库、外部文件或任何形式的网络请求)。它必须能在桌面版 Chrome 中以 1920x1080 分辨率流畅运行,目标是在桌面 GPU 上达到 60 fps;还应具备自动分辨率缩放回退机制,在帧率下降时降低内部渲染分辨率,并且飞行必须能够无限持续而不出现故障。要检查你的成果,请运行 node shot.cjs index.html shot.png 6(第三个参数表示等待的秒数;使用逗号分隔的列表,如 3,12,25,可在每个时间点各保存一张截图;可选的第四个参数用于设置尺寸,默认为 1280x720):该命令会在无头 Chrome 中渲染页面、保存截图,并输出 WebGL 渲染器信息、粗略帧率以及所有控制台错误;随后查看这些图像。这台机器上的无头渲染器可能仅使用软件渲染,因此其帧率可能远低于真实桌面 GPU 所能达到的水平,它并不是目标性能标准。请自行判断成果何时完成,然后用简短的文字说明你构建了什么。

活起来的《星夜》

Inkling 2 Mini 复刻作品

我们向 Pi 编码框架中的 Inkling 2 Mini 提供了梵高画作的参考图像和一个截图辅助工具。Inkling 编写了一个独立完整的 HTML 页面,其中只有一个 WebGL2 片段着色器。该着色器完全通过代码绘制场景,不加载参考图像或任何其他资源。它利用时间变量为旋转流动的天空、星光、摇曳的柏树和村庄窗户闪烁的灯光制作动画。

Inkling 在 24 轮截图检查中不断渲染并审视自己的作品。我们在 Apple M4 Max 上以 1080p、60 fps 逐帧录制了最终动画。

此文件夹中的 starry-night.jpg 是文森特·梵高的《星夜》(1889 年,公有领域)。将它重现为一幅鲜活的画作:制作一个独立完整的 index.html(所有代码均内联,不使用外部文件、库或网络请求),填满浏览器窗口,并能在桌面版 Chrome 中以 1920x1080 分辨率流畅运行。所有内容都必须通过代码程序化生成,例如使用 WebGL 着色器;页面不得加载、嵌入或采样 starry-night.jpg 或任何其他图像。忠实还原画作的构图和色彩(天空中巨大的螺旋与旋转流动的气流、带光晕的星星、明亮的新月、左侧深色火焰状的柏树、起伏的山丘,以及带有教堂尖塔的村庄),以梵高厚重且具有方向感的笔触呈现,并赋予它生命:让天空的漩涡流动,让星星和月亮明暗脉动,让柏树摇曳,让村庄窗户的灯光发亮并闪烁。力求做出你所能实现的最惊艳效果。我们提供了一个辅助工具:运行 node shot.js --help,了解如何在多个时刻为 index.html 截图;将截图与参考图像并排查看并持续改进,直到满意为止,然后用简短的文字说明你制作了什么。

我们向 Pi 编码框架中的 Inkling 2 Mini 提供了一张手绘的 Trip Split 线框图照片和一段提示。Inkling 利用草图中的标签、示例支出和手写注释,在单个 HTML 文件中使用原生 CSS 和 JavaScript 构建了支出列表、添加支出表单和余额视图。当支出发生变化时,应用会更新总额和余额,建议用于结清旅行费用的付款方案,并将数据保存在浏览器的 localStorage 中,因此重新加载页面后数据依然存在。

我们进行了三次相互独立的 Inkling 尝试,并使用 Playwright 逐项点击测试每个成品,在需要视觉判断之处检查截图。这里展示的第一次尝试通过了全部 13 项检查。加入草图中 90 美元的晚餐支出后,总额从 405 美元增至 495 美元,并重新计算了每个人应承担的金额。

此文件夹中的照片 sketch.jpg 是一位产品设计师为一款小型应用手绘的线框图。将这款应用真正构建出来,做成你所能实现的最惊艳、原创且达到生产级质量的版本:在此文件夹中创建一个独立完整的 index.html,仅使用原生 HTML、CSS 和 JavaScript(不得使用框架、CDN、外部文件或网络请求;可以使用 localStorage),并且必须能在桌面版 Chrome 中以 1920x1080 分辨率流畅运行。将纸上的一切都视为规格:每个界面、标签、按钮和数字、示例数据以及每条红色注释所描述的行为都必须真正可用,而视觉设计、排版和动效则由你自由发挥,做到美观精致。运用视觉能力仔细查看草图,并再次使用视觉能力检查自己的成果:node shot.cjs --help 介绍了一个已提供的辅助工具,它可以在完成点击或其他 JavaScript 操作后,以任意窗口尺寸在无头 Chrome 中截取 index.html 的画面(如果你愿意,也可以使用已安装的 Playwright 编写自己的脚本),你还可以使用读取工具查看任何截图。逐项点击测试所有功能,将每个界面与草图进行比较,并持续改进,直到完全满意为止;然后用简短的文字说明你构建了什么。

4 位模型

我们让经过 4 位 GGUF 量化的 Inkling 2 Mini(IQ4_NL)为一款名为 Plant Therapy 的 SaaS 制作网站,这项服务会为植物匹配持证治疗师。

该模型相当自主;它为网站视觉效果自行制作了 SVG,甚至构建了匹配逻辑,而这一切都源于一句简短的提示:“你能为我名为 Plant Therapy 的 SaaS 制作一个网站吗?我会为室内植物匹配持证治疗师,让植物免于枯死;请返回单个 HTML 文件。”

“把自己变成浏览器智能体”

我们将 Inkling 2 Mini 与 Pi 编码智能体相结合,让它使用 Helium、Chromium 和 Hugging Face Sandboxes 将自身构建成浏览器智能体。我们在这个存储桶中提供了运行轨迹和最终文件(可用作浏览器智能体)。

总结

我们非常高兴能与 Thinking Machines Lab 合作推出 Inkling 2 Mini,这是一款面向本地部署、性能出色的中等规模模型。欢迎试用这款模型,并在评论区告诉我们你的看法!

本文提及的模型 1

thinkingmachines/Inkling-2-Mini

博客中的更多文章

欢迎 Thinking Machines 推出的 Inkling

+1

本文提及的模型 1

thinkingmachines/Inkling-2-Mini

来源

Hugging Face