AI 热点

热点事件 持续更新

Thinky Machines发布Inkling 2 Mini

8 篇正式报道8 条事件动态更新于 11月21日 04:35

先了解这件事

AI 综述

Thinky Machines于11月21日发布采用Apache 2.0许可的Inkling 2 Mini。Thinking Machines Lab官方博客称,这款开放权重MoE循环Transformer共有26.4B参数、激活3.4B参数,中间层对每个token运行三次,已在Tinker提供推理和微调,完整权重及可变循环版本已上线Hugging Face。此前11月20日,Andrew Lee、Kamesh Krishnamurthy、Jack Merullo、Dan Balsam和Ekdeep Singh Lubana报告初步机制发现:循环模型层可通过跨循环注意力读取先前循环的信息,并呈现向自身或“未来”层传递信息的行为。

AI 根据公开报道生成

最新进展 · 正式报道

Thinking Machines 发布开放权重模型 Inkling 2 Mini

事件进展

2 个已确认进展

  1. Thinky Machines发布Inkling 2 Mini

    来源:Thinking Machines Lab:官方博客
  2. Andrew Lee等报告循环模型层的初步机制发现

    来源:Goodfire Research

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月21日

  1. Artificial Analysis精选

    Thinking Machines 发布开放权重模型 Inkling 2 Mini

    Thinking Machines 发布 Inkling 2 Mini,该模型在 Artificial Analysis Intelligence Index 得分为 20,处于智能与活跃参数的 Pareto 前沿。它采用 MoE 与循环 Transformer 架构,总参数量 26B、活跃参数量 5.4B,每个文本 token 使用 3.1B 唯一权重,可在 MacBook 或 DGX Spark 上运行。模型支持文本和图像输入,具备 1M token 上下文窗口,并以 Apache 2.0 许可证发布。

  2. Thinking Machines Lab:官方博客一手精选

    Thinking Machines Lab 发布循环 Transformer 模型 Inkling 2 Mini

    Thinking Machines Lab 发布 Inkling 2 Mini,这是一款开放权重的循环 Transformer 模型,中间层对每个 token 运行三次,并可在笔记本电脑上本地运行。该 MoE 模型共有 26.4B 参数、激活 3.4B 参数,每个 token 的权重激活量为 5.4B,内存占用约为 20GB;其 DeepSWE v1.1 和 Vals Index v2.2 得分分别为 48.2% 和 46.5%。模型已在 Tinker 提供推理和微调,完整权重及可变循环版本已上线 Hugging Face。

  3. Unsloth一手精选

    Inkling 2 Mini 以 26.4B 参数运行于 16GB RAM

    Inkling 2 Mini 是一款可在 16GB RAM 上运行的 26.4B 参数模型,现可通过 Unsloth 和 llama.cpp 运行。该 Apache 2.0 MoE 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上取得 48.2%,原文称其为同等规模最佳成绩,并提供 GGUF 与运行指南。

  4. Clément Delangue

    Thinky Machines 以 Apache 2.0 许可发布 Inkling 2 Mini

    Thinky Machines 今天以 Apache 2.0 许可发布 Inkling 2 Mini。Clément Delangue 称该模型进入开放式智能体模型的帕累托前沿,并附上模型链接 https://t.co/OWmppOLcBe。

  5. Mira Murati

    Thinking Machines 发布可在笔记本电脑运行的 Inkling 2 Mini

    Inkling 2 Mini 是一款可在笔记本电脑运行的循环 Transformer 模型。循环机制让模型进行更多思考、减少输出文字,其当前规模下的思考过程仍可监测,但未来未必如此;团队还分享了一个可变循环研究模型供进一步研究。

11月20日

  1. Hugging Face一手精选

    Hugging Face 与 Thinking Machines Lab 发布本地模型 Inkling 2 Mini

    Hugging Face 与 Thinking Machines Lab 发布面向本地部署的混合专家模型 Inkling 2 Mini,并同步推出可调整循环次数的研究版本。模型以24个物理解码层实现每个 token 48次层访问,在48项基准中领先32项,支持文本、图像、推理和工具调用。官方提供 transformers、llama.cpp、MLX 与 SGLang 支持,以及 IQ4_NL 和 Q8_0 两种 GGUF 量化版本。

  2. Artificial Analysis 完整文章一手精选

    Thinking Machines 发布开放权重循环 Transformer 模型 Inkling 2 Mini

    Thinking Machines 发布 Inkling 2 Mini,在 Artificial Analysis Intelligence Index 得分 20,并进入智能水平与参数规模的帕累托前沿。该模型采用 MoE 架构,拥有 26B 总参数、5.4B 激活参数,支持文本和图像输入及 1M token 上下文窗口,以 Apache 2.0 许可证开放权重。它与 Qwen3.8 27B(xhigh)得分相当,每项任务约便宜 6x、快 4x,但输出 token 多约 38%。

  3. Goodfire Research一手

    Goodfire 解读 Inkling 2 Mini 的循环架构与内部信息流

    Goodfire 分析了 Inkling 2 Mini 的内部机制,发现循环层可通过跨循环注意力读取先前循环的信息,并呈现类似向自身或未来层传递信息的行为。该模型包含 24 层和 4 个区块,其中第 2、3 区块循环运行 3 次;对 13,233 个 token 的分析显示,后段层会协调跨层和跨循环信息流。解码实验还显示,logit-lens 对较早层效果不佳,而 tuned-lens 与 coda-lens 表现较好。

关联事件

  1. 相关事件Gemini 4 Neon开始在Gemini和Antigravity平台逐步上线
  2. 相关事件Mistral在Hugging Face发布Large 4权重
  3. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  4. 相关事件小米 MiMo 发布 MiMo-V2.6 Pro 与 Flash