先了解这件事
Thinky Machines于11月21日发布采用Apache 2.0许可的Inkling 2 Mini。Thinking Machines Lab官方博客称,这款开放权重MoE循环Transformer共有26.4B参数、激活3.4B参数,中间层对每个token运行三次,已在Tinker提供推理和微调,完整权重及可变循环版本已上线Hugging Face。此前11月20日,Andrew Lee、Kamesh Krishnamurthy、Jack Merullo、Dan Balsam和Ekdeep Singh Lubana报告初步机制发现:循环模型层可通过跨循环注意力读取先前循环的信息,并呈现向自身或“未来”层传递信息的行为。
AI 根据公开报道生成
最新进展 · 正式报道
Thinking Machines 发布开放权重模型 Inkling 2 Mini事件进展
2 个已确认进展
- 来源:Thinking Machines Lab:官方博客
- 来源:Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月21日
Artificial Analysis精选
Thinking Machines 发布开放权重模型 Inkling 2 Mini
Thinking Machines 发布 Inkling 2 Mini,该模型在 Artificial Analysis Intelligence Index 得分为 20,处于智能与活跃参数的 Pareto 前沿。它采用 MoE 与循环 Transformer 架构,总参数量 26B、活跃参数量 5.4B,每个文本 token 使用 3.1B 唯一权重,可在 MacBook 或 DGX Spark 上运行。模型支持文本和图像输入,具备 1M token 上下文窗口,并以 Apache 2.0 许可证发布。
Thinking Machines Lab:官方博客一手精选
Thinking Machines Lab 发布循环 Transformer 模型 Inkling 2 Mini
Thinking Machines Lab 发布 Inkling 2 Mini,这是一款开放权重的循环 Transformer 模型,中间层对每个 token 运行三次,并可在笔记本电脑上本地运行。该 MoE 模型共有 26.4B 参数、激活 3.4B 参数,每个 token 的权重激活量为 5.4B,内存占用约为 20GB;其 DeepSWE v1.1 和 Vals Index v2.2 得分分别为 48.2% 和 46.5%。模型已在 Tinker 提供推理和微调,完整权重及可变循环版本已上线 Hugging Face。
Unsloth一手精选
Inkling 2 Mini 以 26.4B 参数运行于 16GB RAM
Inkling 2 Mini 是一款可在 16GB RAM 上运行的 26.4B 参数模型,现可通过 Unsloth 和 llama.cpp 运行。该 Apache 2.0 MoE 模型采用循环 Transformer 架构,在 DeepSWE v1.1 上取得 48.2%,原文称其为同等规模最佳成绩,并提供 GGUF 与运行指南。
Clément Delangue
Thinky Machines 以 Apache 2.0 许可发布 Inkling 2 Mini
Thinky Machines 今天以 Apache 2.0 许可发布 Inkling 2 Mini。Clément Delangue 称该模型进入开放式智能体模型的帕累托前沿,并附上模型链接 https://t.co/OWmppOLcBe。
Mira Murati
Thinking Machines 发布可在笔记本电脑运行的 Inkling 2 Mini
Inkling 2 Mini 是一款可在笔记本电脑运行的循环 Transformer 模型。循环机制让模型进行更多思考、减少输出文字,其当前规模下的思考过程仍可监测,但未来未必如此;团队还分享了一个可变循环研究模型供进一步研究。
11月20日
Hugging Face一手精选
Hugging Face 与 Thinking Machines Lab 发布本地模型 Inkling 2 Mini
Hugging Face 与 Thinking Machines Lab 发布面向本地部署的混合专家模型 Inkling 2 Mini,并同步推出可调整循环次数的研究版本。模型以24个物理解码层实现每个 token 48次层访问,在48项基准中领先32项,支持文本、图像、推理和工具调用。官方提供 transformers、llama.cpp、MLX 与 SGLang 支持,以及 IQ4_NL 和 Q8_0 两种 GGUF 量化版本。
Artificial Analysis 完整文章一手精选
Thinking Machines 发布开放权重循环 Transformer 模型 Inkling 2 Mini
Thinking Machines 发布 Inkling 2 Mini,在 Artificial Analysis Intelligence Index 得分 20,并进入智能水平与参数规模的帕累托前沿。该模型采用 MoE 架构,拥有 26B 总参数、5.4B 激活参数,支持文本和图像输入及 1M token 上下文窗口,以 Apache 2.0 许可证开放权重。它与 Qwen3.8 27B(xhigh)得分相当,每项任务约便宜 6x、快 4x,但输出 token 多约 38%。
Goodfire Research一手
Goodfire 解读 Inkling 2 Mini 的循环架构与内部信息流
Goodfire 分析了 Inkling 2 Mini 的内部机制,发现循环层可通过跨循环注意力读取先前循环的信息,并呈现类似向自身或未来层传递信息的行为。该模型包含 24 层和 4 个区块,其中第 2、3 区块循环运行 3 次;对 13,233 个 token 的分析显示,后段层会协调跨层和跨循环信息流。解码实验还显示,logit-lens 对较早层效果不佳,而 tuned-lens 与 coda-lens 表现较好。
AI 热点