← 研究 · 2026年11月20日

作者

Andrew Lee

Kamesh Krishnamurthy

Jack Merullo

Dan Balsam

Ekdeep Singh Lubana

发布于

2026年11月20日

今天,Thinking Machines 发布了 Inkling 2 Mini,这是一个小型开放权重模型。该模型融合了多项架构创新,包括注意力残差 1 以及让其中间层循环运行。 2.

Thinking Machines 提前向 Goodfire 提供了 Inkling 2 Mini 的权重,以便我们研究这些架构创新如何影响模型的内部机制。我们探讨了几个关键问题:

  • 信息如何在模型中流动?
  • 模型组件如何跨层、跨循环协同这种信息流?
  • 我们如何解码在整个网络中处理的此类信息?

我们的初步发现揭示了各层如何彼此协调,以及如何与自身未来和过去的版本协调:与直觉相反,循环模型层可以向自身写入信息,甚至可以从“未来”的层读取信息!

我们相信,这些见解仅仅是我们能够从这些模型中学到的知识的开端。随着模型架构不断演进,我们相信自己对其内部机制的直觉和理解也能随之发展;我们希望,对 Inkling 2 Mini 的解读将有助于不同类型模型之间相互借鉴研究见解。

Inkling 2 Mini 架构概览

下面我们将从宏观层面概述 Inkling 2 Mini 的架构。详细说明可参见 Thinking Machines 的 发布公告,或我们的 附录.

Inkling 2 Mini 有 24 层,每层由一个注意力子层和随后一个混合专家(MoE)子层组成。与普通 Transformer 相比,该模型的架构有两项重大区别。

首先,Inkling 2 Mini 使用 注意力残差1:每一层通过注意力机制读取先前各层的输出,而不是从累积残差流中读取。更具体地说,它会对 区块进行深度方向注意力计算,每个区块汇总 6 层的输出。模型的 24 层被划分为 4 个区块。这意味着网络中不存在贯穿始终的单一残差流。相反,每个区块都会从零开始,持续累加其内部各层的输出。每个区块最终输出累加结果:参见 图 1.

Figure 1: Depth-wise attention attends over block outputs to compute the input to each layer. This diagram represents model computation midway through the first loop, so omits the additional loops and the fourth block.
图 1:深度方向注意力会关注各区块的输出,以计算每一层的输入。此图展示模型在第一次循环进行到一半时的计算,因此省略了额外的循环和第四个区块。

其次,Inkling 2 Mini 是一个循环模型:在解码之前,模型的中间计算会多次经过同一组权重。不过,并非所有层都会循环运行:第一个区块(第 1 至第 6 层)对输入运行一次,随后是两个核心区块(第 7 至第 18 层), 它们会循环运行三次。最后一个区块(区块 4,即第 19 至第 24 层)随后运行一次,对输出进行解码。

跨循环注意力使信息能够在不同循环之间传递。具体而言,在核心区块的第二次或第三次运行期间,每个子层都会利用跨循环注意力,读取上一次循环中区块 2 和区块 3 的输出:参见 图 2.

Figure 2: Each layer can read information from all earlier blocks, as well as the summed outputs of the earlier layers in its block (depth-wise attention; blue arrows). Layers in blocks 2 and 3, which are looped, can also read from the previous loop (cross-loop attention; pink arrows). All of this is over a single token; standard sequence attention is used by the attention sublayers within each layer.
图 2:每一层都可以读取此前所有区块的信息,以及其所在区块中更早各层的输出之和(深度方向注意力;蓝色箭头)。区块 2 和区块 3 中的层会循环运行,因此也能读取上一次循环的信息(跨循环注意力;粉色箭头)。所有这些操作都针对单个 token;每层内部的注意力子层则使用标准的序列注意力。

这两种机制共同构成了信息跨区块流动的两条通道:深度方向注意力和跨循环注意力。对于每条通道,每个子层都有一个专用的注意力模块,用于读取先前区块或先前循环的信息。

Figure 3: Overview of Inkling 2 Mini’s architecture.
图 3:Inkling 2 Mini 架构概览。

综合来看,整个架构(及其信息流)如 图 3所示。更详细的说明请参见我们的 附录。巧合的是,Inkling 2 Mini 的架构使我们能够将每一层的输入分解为先前各层输出的加权和,从而可以轻松直观地观察并理解信息如何在网络中传递。下一节将介绍这种分解方法。

理解 Inkling 2 Mini 中的信息流:分解输入分量

Figure 4: Information flow in Inkling 2 Mini. The input to each layer can be decomposed as the weighted sum of earlier layer outputs, allowing us to visualize how information flows throughout the network.
图 4:Inkling 2 Mini 中的信息流。每一层的输入都可以分解为较早各层输出的加权和,从而让我们能够直观呈现信息如何在整个网络中流动。

下面我们将提供一个心智模型,用于理解信息如何在 Inkling 2 Mini 中传播。

从宏观来看,每一层的输入(记为 x\mathbf{x}x)都是当前区块或先前区块的混合,而每个区块本身也是其内部各层输出之和。因此,我们可以将每一层的输入分解为先前各层贡献之和,从而追踪信息如何从一层流向另一层,跨越区块乃至循环。

在 Inkling 2 Mini 中,每一层的输入都是由模型的深度方向注意力构建的、针对当前区块及先前区块的 softmax 混合:x=∑iαirivi\mathbf{x}=\sum_i\alpha_ir_i\mathbf{v}_ix=∑i​αi​ri​vi​,其中 vi\mathbf{v}_ivi​ 是区块 iii 的输出,rir_iri​ 是 RMS 归一化项(1RMS(vi)\frac{1}{RMS(\mathbf{v}_i)}RMS(vi​)1​),而 αi\alpha_iαi​ 是应用于区块 iii 的注意力权重。

每个区块的输出是其各层输出之和:vi=∑w∈Biow\mathbf{v}_i = \sum_{w\in B_i}\mathbf{o}_wvi​=∑w∈Bi​​ow​,其中 BiB_iBi​ 指区块 iii,ow\mathbf{o}_wow​ 是区块 iii 中某个特定注意力层或 MoE 层的输出。这使我们能够进一步分解 x\mathbf{x}x:x=∑iαirivi=∑wαi(w)ri(w)ow\mathbf{x} = \sum_i\alpha_ir_i\mathbf{v}_i = \sum_w\alpha_{i(w)}r_{i(w)}\mathbf{o}_wx=∑i​αi​ri​vi​=∑w​αi(w)​ri(w)​ow​,其中 αi(w)\alpha_{i(w)}αi(w)​、ri(w)r_{i(w)}ri(w)​ 分别是输出 ow\mathbf{o}_wow​ 所属区块 iii 的注意力权重和 RMS 归一化项。

下一阶段会混入来自上一次循环的消息 m\mathbf{m}m。令 ttt 表示当前循环的轮次,t−1t-1t−1 则表示上一次循环。该消息同样是上一次循环中区块 2 和区块 3 的 softmax 混合:m=β2r2[t−1]v2[t−1]+β3r3[t−1]v3[t−1]\mathbf{m}=\beta_2r_2^{[t-1]}\mathbf{v}_2^{[t-1]} + \beta_3r_3^{[t-1]}\mathbf{v}_3^{[t-1]}m=β2​r2[t−1]​v2[t−1]​+β3​r3[t−1]​v3[t−1]​。其中,β2,3\beta_{2, 3}β2,3​ 是区块 2 和区块 3 的注意力权重,r2,3[t−1]r_{2,3}^{[t-1]}r2,3[t−1]​ 指上一次循环中区块 2 和区块 3 的 RMS 归一化器,而 v2,3[t−1]\mathbf{v}_{2, 3}^{[t-1]}v2,3[t−1]​ 是上一次循环中区块 2 和区块 3 的输出。

消息 m\mathbf{m}m 通过“保留”项(κ\boldsymbol{\kappa}κ)和“增益”项(γ\boldsymbol{\gamma}γ)混入当前层的输入 x\mathbf{x}x:x′=κ⊙x+γ⊙m\mathbf{x}'=\boldsymbol{\kappa}\odot \mathbf{x} + \boldsymbol{\gamma}\odot\mathbf{m}x′=κ⊙x+γ⊙m(关于 κ\boldsymbol{\kappa}κ 和 γ\boldsymbol{\gamma}γ 的计算方法,请参见 附录 )。请注意,第一项 κ⊙x\boldsymbol{\kappa}\odot\mathbf{x}κ⊙x 来自当前循环,而第二项 γ⊙m\boldsymbol{\gamma}\odot\mathbf{m}γ⊙m 来自上一次循环。这使我们能够将 x′\mathbf{x'}x′ 重写为先前各层输出之和:x′=∑wcw\mathbf{x'}=\sum_w\mathbf{c}_wx′=∑w​cw​,其中

  • 对于当前循环中的所有写入,cw=κ⊙αi(w)ri(w)[t]ow\mathbf{c}_w = \boldsymbol{\kappa}\odot\alpha_{i(w)} r_{i(w)}^{[t]} \mathbf{o}_wcw​=κ⊙αi(w)​ri(w)[t]​ow​。
  • 对于上一次循环中的所有写入,cw=γ⊙βi(w)ri(w)[t−1]ow\mathbf{c}_w = \boldsymbol{\gamma}\odot\beta_{i(w)} r_{i(w)}^{[t-1]} \mathbf{o}_wcw​=γ⊙βi(w)​ri(w)[t−1]​ow​。

至此,我们已将 x′\mathbf{x'}x′ 分解为各层输出 ow\mathbf{o}_wow​ 的加权和。最后,我们可以将输入中相应的份额归因于每个 ow\mathbf{o}_wow​:sw=cw⋅x′∥x′∥2s_w = \frac{\mathbf{c}_w \cdot \mathbf{x}'}{\|\mathbf{x}'\|^2}sw​=∥x′∥2cw​⋅x′​,其中 sws_wsw​ 是 cw\mathbf{c}_wcw​ 在 x′\mathbf{x}'x′ 上投影的系数。由于这些项之和等于输入,因此各份额之和恰好为 1。

图 4 展示了根据我们的分解,信息如何在 Inkling 2 Mini 内部流动。对于每一层,我们对来自 400 篇 FineWeb 文档的 13,233 个 token 的贡献取平均值。这展示了各层之间的直接贡献。

这里有几点值得注意。就深度方向注意力而言,模型对较近层的关注更强,类似于滑动窗口。就跨循环注意力而言,较后的循环往往更关注区块 3,而非区块 2。这一点在区块 3 中尤其明显:它几乎总是关注上一次循环中的自身,或许是因为它已能通过深度方向注意力获取区块 2 的信息。基于这些直观认识,接下来我们将研究这些信息流背后的一些机制。

跨层、跨区块与跨循环的协调

在此,我们从权重空间和激活空间两个角度,研究 Inkling 2 Mini 如何协调跨区块和跨循环的信息流。

区块级协调的权重空间分析

请注意,深度方向注意力和跨循环注意力都在区块层面进行读取。这两种注意力机制各自配有一组权重,用于确定要关注哪些区块。我们将这些权重称为“读取器”权重。对于深度方向注意力,模型共有 56 个读取器(注意力子层 31 个、MoE 子层 24 个,最终输出层之前 1 个);对于跨循环注意力,区块 2 和区块 3 中的 12 层(循环层)各有 4 个读取器(uQ,K,V,MoE\mathbf{u}_{Q,K,V,MoE}uQ,K,V,MoE​),共计 48 个。因此,我们总共有 104 个读取器权重,用于实现深度方向注意力和跨循环注意力。

简而言之,我们发现每个区块的后段层,尤其是最后几层,会强烈地为这些读取器写入信息,可能是在对激活进行“标记”,以便后续层知道应从哪些区块读取。

为了了解哪些组件会向这些读取器“写入”,我们检查了所有层的 MoE 权重中的每一个下投影列向量。更具体地说,每个 MoE 有 147,456 个神经元,每个神经元都有一个关联的权重向量;当该神经元激活时,这个向量就会被加入模型的激活中。

因此,我们共有 24 层 x 147,456 = 3,538,944 个可以写入模型激活的权重向量。其中哪些会为这 104 个注意力读取器中的任意一个写入呢?

为回答这个问题,我们考察了 350 万个写入器(以 w\mathbf{w}w 表示,即“writers”)与 104 个读取器(以 r\mathbf{r}r 表示,即“readers”)之间所有可能的配对,共计 3.68 亿对。我们测量每一对 (w\mathbf{w}w, r\mathbf{r}r) 向量之间的绝对余弦相似度,并考察排名前 0.001% 的配对,由此得到绝对余弦相似度阈值 0.30。筛选超过该阈值的写入器—读取器配对后,还剩 3,490 对。

图 5 和 6 在下文中按写入器所在层(x 轴)和读取器所在层(堆叠柱,其中颜色表示读取器所在层)对这 3,490 个配对进行了细分。y 轴表示绝对余弦相似度超过 0.30 的(写入器,读取器)配对数量。每个区块的第一层在其堆叠柱中以条纹标示。 图 5 展示了深度方向注意力的写入器—读取器配对,而 图 6 展示了跨循环注意力配对。

Figure 5: Writer, reader pairs with highest alignment for depth-wise attention. The writer-reader pairs with high alignment are concentrated in the last layers of each block, which we interpret as these neurons “tagging” the activations for later layers to use in order to read from its corresponding block.
图 5:在深度方向注意力中对齐度最高的写入器—读取器配对。高对齐度的写入器—读取器配对集中在每个区块的最后几层,我们将其解读为这些神经元在对激活进行“标记”,供后续层用来从相应区块读取信息。
Figure 6: Writer, reader pairs with highest alignment for cross-loop attention. The writer-reader pairs with high alignment are concentrated in the last layer of block 3, such that future loops read from block 3. Indeed, Inkling 2 Mini almost always reads from block 3 in loops 2 and 3 (see Figure 4).
图 6:在跨循环注意力中对齐度最高的写入器—读取器配对。高对齐度的写入器—读取器配对集中在区块 3 的最后一层,使未来的循环能够从区块 3 读取信息。事实上,Inkling 2 Mini 在循环 2 和 3 中几乎总是从区块 3 读取(见 图 4).

有几点观察值得注意。对于深度方向的读取器—写入器交互,可以看到大部分写入发生在每个区块的最后一层(第 6、12、18 层)。例如,第 6 层主要写入区块 4,第 12 层主要写入区块 3 和 4,最后第 18 层写入区块 4。可以将这些交互理解为每个区块的最后几层在对激活进行“标记”,供未来的层使用,使后续层能够从这些先前区块读取信息。

跨循环交互呈现出类似的情况:区块 3 的所有层(尤其是最后一层)承担了大部分写入,特别是向第 13 层(区块 3 的第一层)写入。与深度方向的情况类似,这使未来循环中的第 13 层能够从区块 3 读取信息,而这正是我们在先前分析中观察到的动态(见 图 4).

总而言之,每个区块的后段层似乎会与其他层“协调”,以促进信息流向下游层或未来循环,无论这是通过深度方向注意力还是跨循环注意力实现的。

循环间协调的激活空间分析(以及巨大的异常激活)

这些跨循环协调也可以从模型的激活中加以考察。具体而言,我们发现了一些巨大的异常激活,它们似乎决定了模型在不同循环之间应关注哪些区块。

巨大的异常激活

我们的分析先稍作绕行,介绍模型激活中一些巨大的异常坐标值。具体而言,我们重点关注循环层(区块 2、3)中出现的巨大激活。

为了识别异常值,我们获取全部 24 层的激活,并依据其 RMS 进行归一化,这是考虑到该架构广泛使用了 RMSNorm。因此,每个归一化向量的平方范数均为 d = 2304。如果平方范数均匀分布在所有坐标上,那么每个坐标的幅值应为 1,约占总平方范数的 0.043%。

令人惊讶的是,我们观察到某些情况下,单个坐标的平均归一化值达到 +32.4,占平方范数的 32.42/2304≈46%32.4^2/2304 \approx 46\%32.42/2304≈46%。

尽管这些异常激活可能具有多种功能,但我们的研究结果表明,它们在促进循环之间的信息流动方面发挥了作用。

异常值的一个例子是坐标 2027(共 2304 个坐标),我们将其记为 d2027d_{2027}d2027​。如前文所述,单个坐标 d2027d_{2027}d2027​ 的 RMS 归一化平均值为 +32.4,占激活总平方范数的 46%。这个坐标的幅值最为异常,因此我们暂时重点研究这一特定坐标。

在循环临近结束时写入 d2027d_{2027}d2027​

关于 d2027d_{2027}d2027​ 作用的第一条线索来自考察其数值何时激增。基于取自 400 篇 FineWeb 文档的 13,233 个 token 的小型数据集,我们观察到 d2027d_{2027}d2027​ 会在前两个循环的区块 3 末尾,即第 18 层激增:见 图 7.

正如我们将在下一项分析中看到的,我们认为这样做是为了让未来的循环做好从区块 3 读取信息的准备。

Figure 7: Components writing to d₂₀₂₇. We believe d₂₀₂₇ is used across loops to coordinate which blocks the future loops should read from. Note that for layer 18 (last layer of each loop), the first two loops have a massive positive spike, telling future loops to read from Block 3 (Note that indeed, loops 2 and 3 always read from block 3 — see Figure 4). On the other hand, in loop 3, layer 18 has a large negative spike, presumably because the model does not expect any future loops.
图 7:向 d2027写入的组件。我们认为, d2027 用于在不同循环之间协调未来循环应从哪些区块读取信息。请注意,对于第 18 层(每次循环的最后一层),前两个循环都出现了巨大的正向尖峰,指示未来循环从区块 3 读取信息(事实上,循环 2 和 3 始终从区块 3 读取——见 图 4)。另一方面,在循环 3 中,第 18 层出现了巨大的负向尖峰,推测是因为模型预计不会再有未来的循环。

在后续循环中从 d2027d_{2027}d2027​ 读取

暂且撇开异常激活,让我们重新审视跨循环的注意力动态(图 8)。具体而言,请观察第二和第三次循环中每个区块的开头部分。在所有情况下,这些层都会强烈关注前一次循环中的区块 3(橙色曲线比绿色曲线粗得多)。

Figure 8: Attention patterns over blocks of earlier loops. Orange and green curves indicate which blocks each layer attends to.
图 8:对先前循环各区块的注意力模式。橙色和绿色曲线表示每一层所关注的区块。

为了理解其中原因,让我们重新审视 Inkling 2 Mini 的架构。每一层都有专用的权重向量 uQ,uV,uK,uMoE∈Rd\mathbf{u}_Q, \mathbf{u}_V, \mathbf{u}_K, \mathbf{u}_{MoE} \in \mathbb{R}^duQ​,uV​,uK​,uMoE​∈Rd,用于确定应从前一次循环的哪个区块读取信息。现在,我们仅考虑 uQ\mathbf{u}_QuQ​(同样的分析适用于全部 4 个权重):

v^i=RMSNorm⁡(vi),vi∈Rd \hat{\mathbf{v}}_i = \operatorname{RMSNorm}(\mathbf{v}_i), \mathbf{v}_i \in \mathbb{R}^dv^i​=RMSNorm(vi​),vi​∈Rd:上一次循环中区块 iii 的输出。
si=uQ⋅v^ids_i = \frac{\mathbf{u}_Q \cdot \hat{\mathbf{v}}_i}{\sqrt{d}}si​=d​uQ​⋅v^i​​:分配给区块 iii 的分数。
βi=softmax⁡([s1,…,sN])\beta_i = \operatorname{softmax}([s_1, \dots, s_N])βi​=softmax([s1​,…,sN​]):各区块上的注意力权重。

注意力值 β\betaβ 决定要关注先前的哪些区块。在本例中,我们只有两个区块,并将其相应的注意力权重记为 β2\beta_2β2​ 和 β3\beta_3β3​(分别对应区块 2 和 3)。

同样,我们经常看到模型主要关注区块 3,这可以展开写成:

β3=es3es2+es3=11+e−(s3−s2)=σ(s3−s2)\beta_3 = \frac{e^{s_3}}{e^{s_2} + e^{s_3}} = \frac{1}{1 + e^{-(s_3 - s_2)}} = \sigma(s_3 - s_2)β3​=es2​+es3​es3​​=1+e−(s3​−s2​)1​=σ(s3​−s2​),

s3−s2=uQ⋅(v^3−v^2)d=uQ⋅δds_3 - s_2 = \frac{\mathbf{u}_Q \cdot \left(\hat{\mathbf{v}}_3 - \hat{\mathbf{v}}_2\right)}{\sqrt{d}} = \frac{\mathbf{u}_Q \cdot \mathbf{\delta}}{\sqrt{d}}s3​−s2​=d​uQ​⋅(v^3​−v^2​)​=d​uQ​⋅δ​。

因此,模型最终关注区块 2 还是区块 3,取决于 u⋅δ\mathbf{u}\cdot\mathbf{\delta}u⋅δ 的值;我们可以按坐标将其分解:gap=u⋅δ=∑iuiδi\text{gap} = \mathbf{u}\cdot\mathbf{\delta}=\sum_i\mathbf{u}_i\mathbf{\delta}_igap=u⋅δ=∑i​ui​δi​。通过这种逐元素分解,我们终于可以考察哪个坐标 iii 对 u⋅δ\mathbf{u}\cdot\mathbf{\delta}u⋅δ 的贡献最大。

令我们惊讶的是,此前关注的坐标 d2027d_{2027}d2027​ 再次出现。在第二次循环的第 13 层(请注意,这是区块 3 的第一层)中,对于它的 4 个跨循环读取器 uQ,uV,uK,uMoE\mathbf{u}_Q, \mathbf{u}_V, \mathbf{u}_K, \mathbf{u}_{MoE}uQ​,uV​,uK​,uMoE​,我们发现 d2027d_{2027}d2027​ 是各自 gap 项的最大(或第二大)贡献坐标,单凭这一坐标便分别贡献了 17%,19%、11% 和 6%!

请注意,d2027d_{2027}d2027​ 并非对第 13 层跨循环读取器贡献显著的唯一异常值。对 uQ,V,K,MoE\mathbf{u}_{Q, V, K, MoE}uQ,V,K,MoE​ 的 gap 项贡献最大的前 5 个激活坐标,分别占到 60%、62%、32% 和 30%。有趣的是,若按 RMS 归一化范数排序,这 5 个坐标也都位列前 15。

这里让我们简要回到 图 7。请注意,在循环结束时(循环 3,第 18 层),后面已没有更多循环,因此该层的 MoE 和注意力头会先“清理” d2027d_{2027}d2027​ 上的强激活,然后再进入最后一个区块。我们推测,这是因为不再需要跨循环通信,所以模型移除了 d2027d_{2027}d2027​ 上的活动。

循环解码:logit-lens、tuned-lens、coda-lens

前面的分析研究了信息如何在整个网络中流动,而这里我们分析如何解码这些信息。一种常用技巧是在中间隐藏状态上应用反嵌入层,从而解码中间层,这通常称为 logit-lens。logit-lens(及其变体)在 Inkling 2 Mini 的循环上表现如何?

这里我们研究 logit-lens 的几个变体:

  • Logit-lens:在中间隐藏状态上应用最终解码头。
  • Tuned-lens:学习从隐藏状态到模型最终层的仿射变换,以保持模型的输出分布。
  • J-lens: 使用从隐藏状态到模型最终状态的平均雅可比矩阵。
  • Coda-lens: 这里我们将最后一个区块(区块 4)称为尾声区块(coda),并将其应用于模型的隐藏状态,而不是仅应用最终反嵌入层。请注意,与上述方法不同,coda-lens 会应用于整个上下文的隐藏状态,因为尾声区块自身各层中包含顺序注意力头。

我们使用两个指标评估每种变体的效果:1)每种 lens 的前 50 个 token 中包含模型最终输出 token 的频率是多少?2)每种 lens 为模型排名前 50 的 token 分配了多少概率质量?3 我们使用 1,250 篇 FineWeb 文档评估每种方法。Tuned-lens 需要训练,为此我们使用了 23,750 篇 FineWeb 文档。

图 9 展示了结果。简而言之,我们发现 logit-lens 的表现不佳,只有每次循环的最后几层例外,因为尾声区块最终会应用于这些位置;而 tuned-lens 和 coda-lens 的表现非常好。

还需注意,对于标准的普通 Transformer,logit-lens 通常也只在中后段层有效,也就是更接近预期应用反嵌入的位置。对于循环模型,尽管较早循环中的层从前向传播角度看属于“早期”层,但它们似乎更容易解释;而所有循环中每个区块的中间层似乎更难解释。

这对可解释性研究而言是个好消息,因为它表明,即使进行了这些架构修改,模型的内部计算仍然可以解释!

Figure 9. While logit-lens does not work well in decoding earlier layers, tuned-lens and coda-lens work well.
图 9。尽管 logit-lens 无法很好地解码较早的层,但 tuned-lens 和 coda-lens 表现良好。

结论

这些只是初步结果,还有大量科学研究有待开展,其中包括 NDIF 的 Looped Lens 挑战赛。最后,我们想表达对此的兴奋之情:随着神经网络架构不断演进,我们相信,对其内部机制的直觉和理解也能随之发展。正如可解释性工具与理念已经跨越 CNN, Transformer以及 混合架构实现泛化一样,我们希望对 Inkling 2 Mini 的解读能促进不同类型模型之间的洞见交流与相互启发。

引用

Andrew Lee、Kamesh Krishnamurthy、Jack Merullo、Dan Balsam 和 Ekdeep Singh Lubana。《解读 Inkling 2 Mini》。Goodfire,2026 年 11 月 20 日。

BibTeX:
@misc{lee2026inkling,
  author = {Andrew Lee and Kamesh Krishnamurthy and Jack Merullo and Dan Balsam and Ekdeep Singh Lubana},
  title = {Interpreting {Inkling 2 Mini}},
  year = {2026},
  publisher = {Goodfire},
  url = {https://www.goodfire.com/research/interpreting-inkling-2-mini/}
}

脚注

  1. Kimi 团队 ↩ ↩2 ↩3

  2. Dehghani 等人, Yang 等人, Geiping 等人, Bae 等人, 南北阁大模型实验室, Zhu 等人 ↩

  3. 请注意,这些指标可能不适合 Jacobian-lens,因为它们不能很好地反映 J-lens 的目标。我们将对循环模型中 J-lens 的探索留待未来研究。 ↩

附录:Inkling 2 Mini 的详细架构

这里我们概述 Inkling 2 Mini 的架构。与普通 Transformer 相比,主要需要考虑两项差异:注意力残差 1 和循环区块。

符号:

  • d=2304d = 2304d=2304:模型宽度。ℓ∈{1,…,24}\ell \in \{1,\dots,24\}ℓ∈{1,…,24}:层。Bi\mathcal{B}_iBi​:区块 iii 的各层。
  • oattn(ℓ),omoe(ℓ)∈Rd\mathbf{o}^{(\ell)}_{\text{attn}}, \mathbf{o}^{(\ell)}_{\text{moe}} \in \mathbb{R}^doattn(ℓ)​,omoe(ℓ)​∈Rd:第 ℓ\ellℓ 层的注意力和 MoE 子层的输出。
  • vi∈Rd\mathbf{v}_i \in \mathbb{R}^dvi​∈Rd:区块 iii 的总和。
    • v0\mathbf{v}_0v0​:token 嵌入
    • vi(ℓ)\mathbf{v}_i^{(\ell)}vi(ℓ)​:区块 iii 内紧邻第 ℓ\ellℓ 层之前的运行总和
    • vi[t]\mathbf{v}_i^{[t]}vi[t]​:循环 ttt 中区块 iii 的总和。
    • 请注意,vi\mathbf{v}_ivi​ 是区块 iii 中各项输出 www 的总和:vi=∑w∈iow\mathbf{v}_i=\sum_{w \in i} \mathbf{o}_wvi​=∑w∈i​ow​
  • v^=v/RMS(v)\hat{\mathbf{v}} = \mathbf{v}/\mathrm{RMS}(\mathbf{v})v^=v/RMS(v)。
  • q\mathbf{q}q、u∈Rd\mathbf{u} \in \mathbb{R}^du∈Rd:用于深度方向注意力和跨循环注意力的学习查询。
  • m∈Rd\mathbf{m} \in \mathbb{R}^dm∈Rd:跨循环消息;κ,γ\boldsymbol{\kappa}, \boldsymbol{\gamma}κ,γ:保留项和增益项。

层。 Inkling 2 Mini 有 24 层,宽度为 d=2304d = 2304d=2304,每层均由一个注意力子层和随后的一个混合专家(MoE)子层组成。

区块。 这些层被分为 4 个区块,每个区块包含连续的 6 层:B1={1,…,6}\mathcal{B}_1 = \{1,\dots,6\}B1​={1,…,6}、B2={7,…,12}\mathcal{B}_2 = \{7,\dots,12\}B2​={7,…,12}、B3={13,…,18}\mathcal{B}_3 = \{13,\dots,18\}B3​={13,…,18}、B4={19,…,24}\mathcal{B}_4 = \{19,\dots,24\}B4​={19,…,24}。

与普通 Transformer 不同,整个网络中没有贯穿始终的单一残差流。相反,每个区块都会维护其自身各层输出的运行总和,并从零开始累加。对于 ℓ∈Bi\ell \in \mathcal{B}_iℓ∈Bi​,区块 iii 在第 ℓ 层之前的运行总和为

vi(ℓ)=∑ℓ′∈Bi, ℓ′<ℓ(oattn(ℓ′)+omoe(ℓ′)),\mathbf{v}_i^{(\ell)} = \sum_{\ell' \in \mathcal{B}_i,\ \ell' < \ell} \big(\mathbf{o}_{attn}^{(\ell')} + \mathbf{o}_{moe}^{(\ell')}\big),vi(ℓ)​=ℓ′∈Bi​, ℓ′<ℓ∑​(oattn(ℓ′)​+omoe(ℓ′)​),

而 vi\mathbf{v}_ivi​ 是全部六层的总和。token 嵌入充当额外的“区块 0”,v0=RMSNorm(ex)\mathbf{v}_{0} = \mathrm{RMSNorm}(\mathbf{e}_x)v0​=RMSNorm(ex​),其中 ex\mathbf{e}_xex​ 是 token xxx 的 token 嵌入。

深度方向注意力。 普通 Transformer 中的每个子层都从残差流读取信息,而 Inkling 2 Mini 的每个子层则通过对当时可用的区块总和进行 softmax 混合来读取输入:嵌入 v0\mathbf{v}_0v0​、已完成区块 v1,…,vi−1\mathbf{v}_1,\dots,\mathbf{v}_{i-1}v1​,…,vi−1​,以及当前运行总和(对于注意力,为 vi(ℓ)\mathbf{v}_i^{(\ell)}vi(ℓ)​;对于 MoE,则为 vi(ℓ)+oattn(ℓ)\mathbf{v}_i^{(\ell)} + \mathbf{o}^{(\ell)}_{attn}vi(ℓ)​+oattn(ℓ)​)。对于某个具有学习查询 q\mathbf{q}q 的层 ℓ\ellℓ,

x=∑jαj v^j,αj=softmax⁡j ⁣(q⊤v^jd),v^=vRMS(v).\mathbf{x} = \sum_j \alpha_{j}\,\hat{\mathbf{v}}_j, \qquad \alpha_{j} = \operatorname{softmax}_j\!\left(\frac{\mathbf{q}^\top \hat{\mathbf{v}}_j}{\sqrt{d}}\right), \qquad \hat{\mathbf{v}} = \frac{\mathbf{v}}{\mathrm{RMS}(\mathbf{v})}.x=j∑​αj​v^j​,αj​=softmaxj​(d​q⊤v^j​​),v^=RMS(v)v​。

随后子层接收 RMSNorm(x)\mathrm{RMSNorm}(\mathbf{x})RMSNorm(x)。换言之,输入 x\mathbf{x}x 是先前区块的加权和。不过,如下文所述,输入 x\mathbf{x}x 会先与来自先前循环的消息进行“混合”。

循环。 区块 2 和区块 3(第 7–18 层)构成循环,并运行 T=3T = 3T=3 次,而第一个和最后一个区块只运行一次。在每次循环 ttt 中,深度方向注意力读取的深度方向来源包括 v0\mathbf{v}_0v0​(token 嵌入)、v1\mathbf{v}_1v1​,以及当前循环 ttt 自身的总和 v2[t],v3[t]\mathbf{v}_2^{[t]}, \mathbf{v}_3^{[t]}v2[t]​,v3[t]​。3 次循环结束后,最终区块会读取最后一次循环的 v2[3],v3[3]\mathbf{v}^{[3]}_2, \mathbf{v}^{[3]}_3v2[3]​,v3[3]​。

跨循环注意力。 在循环 t≥2t \ge 2t≥2 中,每个循环层 ℓ\ellℓ 都有四个输入 s∈{Q,K,V,MoE}s \in \{Q, K, V, \mathrm{MoE}\}s∈{Q,K,V,MoE},每个输入都使用各自的学习查询 us\mathbf{u}_{s}us​,从上一次循环的两个区块总和中读取一条消息:

ms=∑j∈{2,3}βj v^j[t−1],βj=softmax⁡j ⁣(us⊤v^j[t−1]d)\boldsymbol{\mathbf{m}}_{s} = \sum_{j \in \{2,3\}} \beta_j\,\hat{\mathbf{v}}_j^{[t-1]}, \qquad \beta_j = \operatorname{softmax}_j\!\left(\frac{\mathbf{u}_{s}^\top \hat{\mathbf{v}}_j^{[t-1]}}{\sqrt{d}}\right)ms​=j∈{2,3}∑​βj​v^j[t−1]​,βj​=softmaxj​(d​us⊤​v^j[t−1]​​)

混入跨循环消息。 在输入向量 x\mathbf{x}x 进入子层之前,会分别对输入和消息应用“保留”项(κ\boldsymbol{\kappa}κ)和“增益”项(γ\boldsymbol{\gamma}γ),从而将上一次循环的消息 m\mathbf{m}m 混入输入:

z=P [RMSNorm(x); RMSNorm(m)],P∈R64×2d,κ=1−tanh⁡(Fz),γ=tanh⁡(Gz),F,G∈Rd×64,x′=κ⊙x+γ⊙m.\begin{aligned} \mathbf{z} &= \mathbf{P}\,\big[\mathrm{RMSNorm}(\mathbf{x});\ \mathrm{RMSNorm}(\mathbf{m})\big], & \mathbf{P} &\in \mathbb{R}^{64 \times 2d},\\ \boldsymbol{\kappa} &= 1 - \tanh(\mathbf{F}\mathbf{z}), \quad \boldsymbol{\gamma} = \tanh(\mathbf{G}\mathbf{z}), & \mathbf{F}, \mathbf{G} &\in \mathbb{R}^{d \times 64},\\ \mathbf{x}' &= \boldsymbol{\kappa} \odot \mathbf{x} + \boldsymbol{\gamma} \odot \mathbf{m}. \end{aligned}zκx′​=P[RMSNorm(x); RMSNorm(m)],=1−tanh(Fz),γ=tanh(Gz),=κ⊙x+γ⊙m.​PF,G​∈R64×2d,∈Rd×64,​

保留项 κ∈(0,2)\boldsymbol{\kappa} \in (0, 2)κ∈(0,2) 会减弱或增强当前循环的输入,而增益项 γ∈(−1,1)\boldsymbol{\gamma} \in (-1, 1)γ∈(−1,1) 则会加上或减去该消息。

输出。 最终输出是对 v0,…,4\mathbf{v}_{0, \dots, 4}v0,…,4​ 进行深度方向混合,然后依次经过 RMSNorm 和反嵌入。

研究

发现语言模型中的神经元群落

2026 年 11 月 17 日

Igor Shilov、Thomas Fel、Tal Haklay、Lucius Bushnaq、Owen Lewis

以神经元作为可解释基础

2026 年 11 月 10 日

Curt Tigges、Matthew Kowal、Thomas McGrath、Owen Lewis、Nick Cammarata

神经元图谱

2026 年 11 月 10 日

适用于所有类型 AI 模型的可解释性

联系我们的团队 大语言模型 生命科学