Ai2 发布 StateBench：测试语言模型如何在长文档中追踪状态变化

StateBench：测试语言模型如何在长文档中追踪状态变化

我们推出 StateBench，这是一个用于长上下文状态追踪的基准测试——衡量语言模型在长文档中追踪实体信息随其演变的能力。

状态追踪是许多任务的基础，从阅读代码（其中变量被赋值和重新赋值）到跟随故事情节（其中角色在物理上移动、物品易手）。例如，如果一部悬疑小说在谋杀发生前写道“约翰把刀给了玛丽”，那么了解每个角色的状态已经发生变化就很重要。然而，并非所有状态追踪问题都同样困难：有些只需要找到最新的更新；更难的则需要跟随一连串变化，其中漏掉一步就可能使最终答案出错。例如，我们悬疑状态追踪的一个更难变体是：约翰把背包里的物品给了玛丽，而此前已知爱德华把一把刀放进了约翰的背包。

Transformer 在具有长依赖链的困难状态追踪变体上存在有充分文献记载的理论局限，这推动了诸如 Gated DeltaNet 之类携带运行记忆向前推进的循环与混合架构的发展。现有的状态追踪测试往往聚焦于最难的情况，但随着这些设计日益普遍，研究人员需要了解每种架构能够处理哪些类型的状态追踪。我们希望不仅在最难的状态追踪类型上，也在更简单、可能更常见的类型上，理解不同架构之间的差异。

为此，我们开发了 StateBench 基准测试，以涵盖不同复杂度的状态追踪问题，并用它来评估不同架构的语言模型之间的差异。我们发现，当直接在这些任务上训练时，循环模型和混合模型的泛化距离远超 Transformer；而包括 Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在内的前沿模型，在输入变长后仍在更难的状态追踪形式上失效。

四个状态追踪级别

StateBench 由四个难度级别组成，允许越来越复杂的状态更新操作。对于程序员来说，这些状态追踪复杂度级别可以理解为允许不同类型的变量赋值操作：

R-trivial 问题使用不可变赋值。变量的值永不改变，因此模型只需恢复它最初被设定的值。在代码中，这看起来像 let x = 4；在日常生活中，它就像出生日期——保持不变。

非周期（Aperiodic）问题允许按值重新赋值。模型需要找到最近的值，并可以忽略更早的值。在代码中，这看起来像先 x = 4，之后 x = 2；在日常生活中，它就像恒温器，最新的设定决定当前温度。

可解（Soluble）问题增加了自引用更新。每次更新都基于当前值，因此模型必须将变化向前传递，而不是简单地找到最新的赋值。在代码中，这看起来像 x = x + 5；在日常生活中，它就像游戏得分，每得一分都累加到总分上。

一般有限（General finite）问题增加了按引用赋值。一个变量可以取另一个变量的当前值，从而在更新之间形成依赖。在代码中，这看起来像 x = y 或交换两个变量。想象一位魔术师把球藏在五个杯子中的一个下面，然后反复交换它们的位置。找到球意味着要追踪这些交换如何改变它的位置。这说明了 S₅ 状态追踪问题：跟随连续的交换如何重新排列五个物体。它属于我们四个级别中最难的一级，并在先前关于状态追踪局限性的工作中有所讨论。

这些级别可以从变量赋值的角度直观理解，但它们也代表了植根于 Krohn–Rhodes 理论的状态追踪中具有理论动机的区分。Krohn–Rhodes 理论是代数的一个分支，描述状态追踪问题——可视为有限幺半群上的字问题——如何分解为原子原语。我们层级中的每个级别都对应一类可由不同原语集合构建的状态追踪问题。

为了公平比较这四个级别，我们从一个一般的有限变量赋值序列出发，并从中派生出三个更简单的版本，从而产生四个可比较的 StateBench 问题——每个难度级别各一个。四者都使用相同数量的变量和不同的值，赋值出现在序列中的相同位置；只有赋值的类型发生变化。

我们的发现

预训练模型

我们在 StateBench 的 r-trivial、非周期和一般有限三个级别上测试了一系列开放预训练模型，以观察它们的状态追踪在何处失效，以及不同架构是否会在理论预测的地方失败。在标准理论假设下，Transformer 能够稳健地处理 r-trivial（并在一定程度上处理可解和非周期问题），但被预测会在一般问题上失败。相比之下，具有更灵活记忆更新的 Gated DeltaNet 原则上可以处理全部四个级别。

我们从开放预训练模型入手，这些模型的训练数据和上下文长度都有完整记录。其中包括两个 70 亿参数模型 Olmo 3（Transformer）和 Olmo Hybrid（增加了 Gated DeltaNet 层），以及 2.75 亿和 27 亿参数的较小模型。所有这些模型都在相同数据上预训练；训练期间没有一个见过超过 64,000 个 token 的上下文，而我们测试大多数模型时使用的输入远超该长度。

当我们对每个模型评分时，几乎所有模型在 r-trivial 问题上表现良好，在非周期问题上随着输入增长而损失准确率，在一般有限问题上则停留在随机水平。问题格式在这里很重要——2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格的 r-trivial 问题上得分接近上限，但在同样问题以电子表格编辑形式呈现时却接近随机水平。这一差距正是 StateBench 以多种格式测试同一底层问题的原因之一。

前沿模型

随后我们测试了四个前沿模型——Gemini 3.8 Flash、Claude Opus 5.5，以及 GPT-6 Sol 和 Luna——要求它们读取每个变量赋值序列并生成每个变量的最终值。

这四个模型在 r-trivial 和非周期问题上都表现良好。但在可解和一般有限问题上，随着输入变长，准确率急剧下降，在最长的一般有限问题上降至 13% 或更低。一个可能的因素是敏感性；在这些更难的级别上，更多步骤可能影响最终答案，留给模型漏掉一次更新而不出错的空间更小。

直接在任务上训练的模型

接下来，我们研究了模型在更难级别上的困难反映的是架构本身的局限，还是预训练根本没有教会模型解决这些问题。有针对性的直接训练是一种更有利的设置，可以揭示状态追踪问题在多大程度上源于底层架构和优化器，而非用于预训练模型的数据。

我们从零开始在 StateBench 上训练了几个 2.75 亿参数的模型：两个 Transformer 变体、两个混合模型，以及两个具有不同记忆更新约束的 Gated DeltaNet 变体。这些模型在最多 256 个赋值的序列上训练，并在长达 64,000 个赋值的序列上测试，即最大训练长度的 250 倍。

随着序列变长，各架构开始出现分化。Gated DeltaNet 和混合模型在 r-trivial、非周期和可解问题上几乎完美地泛化到我们测试的最长序列，即数万个赋值。Transformer 学会了较简单的级别，但在较长序列上性能下降，而且从未学会一般有限问题。在最难的级别上，记忆更新更灵活的 Gated DeltaNet 变体泛化得最远，在其训练期间所见最长序列长度的大约 10 倍范围内保持接近完美。

对于Gated DeltaNet和混合模型，这一差距指向训练而非架构；直接训练后，它们学会了处理其预训练对应模型无法处理的状态追踪级别。Transformer则不同——即使直接训练，它们也永远无法学会最难的级别。

未解问题与发布

一些问题仍未解决。我们的新证明表明，在论文的带舍入固定精度算术下，具有更受限记忆更新（非负特征值）的Gated DeltaNet可以解决所有非周期任务以及某些周期任务，例如追踪某个重复输入出现次数是偶数还是奇数。它在层级中的确切位置仍悬而未决，包括它是否能解决所有可解任务，以及数值精度或将其与注意力层结合会如何影响其能力。StateBench还假设变量数量固定，而真实任务往往随时间引入新实体。例如，在一段长对话中，随着对话展开，新的人物和对象可能出现，模型也必须开始追踪它们。当前框架尚未覆盖这种设定。

随着新类型的循环架构和混合架构涌现，理解每种架构能处理哪些类型的状态追踪，可能有助于指导未来系统的开发和训练方式。我们希望StateBench能为研究人员提供一种更细粒度的方法，用来找出模型在何处失效——并为仍然不足的能力构建训练和评估数据。更根本地说，我们希望它能成为研究人员的北极星，用以开发出相比当前模型具有更稳健状态追踪能力的新架构。

加入我们

在Ai2，我们正在构建透明、开源AI的未来——以开放方式构建，以赋能科学进步，并促进对这项改变世界的技术的基本理解。我们不是为了盈利，而是为了确保AI的益处被广泛共享并造福人类。如果这吸引你，请看看我们的开放职位。开放职位