Ai2 发布 StateBench，衡量长上下文状态追踪能力

Allen Institute for AI（Ai2）于2026年11月3日推出StateBench，发布了一个四级基准、数据集和代码，用于测试语言模型能否在长文档中追踪变化的变量。Ai2报告称，其测试的全部四个前沿模型在输入变长时，都在更难的状态追踪形式上失效。

由Jackson Petty、William Merrill和Ashish Sabharwal合著的配套论文将这项工作定位为对测量缺口的回应。现有测试往往侧重于S₅词问题，这是一项基于追踪五个对象之间连续交换的困难任务，而更简单的形式可能更能代表实际任务，并且可能已经暴露出不同架构之间的差异。StateBench则根据模型必须遵循的更新类型来区分状态追踪。

状态更新的四个层级

在第一层级，r-平凡任务使用不可变赋值，因此模型只需恢复变量的原始值。非周期任务允许按值重新赋值，使最近的赋值即足够。可解任务增加了自引用更新，例如 x = x + 5，要求每次变化都被向前传递。一般有限任务增加了按引用赋值，包括交换，这会在变量之间产生依赖关系。

这些类别在Krohn–Rhodes理论中也有形式化基础，该理论是一个代数框架，可将有限状态追踪问题分解为基本操作。为了进行受控比较，研究人员从一个通用有限序列中推导出其他变体，在仅改变更新操作的同时，保持变量数量、不同值和赋值位置不变。评估集涵盖8到64,000个赋值，每个序列将一个正确的最终状态与四个错误候选配对，用于生成式或多项选择测试。问题还以多种文本格式呈现，包括整数代码和电子表格单元格，以测试表面呈现方式是否会改变结果。

Ai2的开源模型评估包括70亿参数的Olmo 3 transformer和Olmo Hybrid（后者增加了Gated DeltaNet层），以及用相同数据训练的较小系统。这些模型在训练期间都未见过长度超过64,000个token的上下文，而大多数测试都超出了这一长度。Ai2报告称，几乎所有模型在r-trivial任务上表现良好，在非周期任务上随着输入增长而损失准确率，在一般有限任务上则保持在随机水平。

呈现方式改变了结果：Ai2表示，小型混合模型和Gated DeltaNet模型在一种格式的r-trivial提示上得分接近上限，但当等价问题以电子表格编辑形式出现时，得分却接近随机水平。这一差距意味着，在一种格式中取得的好结果并不一定能证明具备追踪状态的通用能力。

专有测试要求 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 生成每个变量的最终值。Ai2 报告称，这四个模型在 r-trivial 和非周期问题上都表现良好，但随着输入变长，在可解问题和一般有限问题上的表现急剧下降，在最长的通用有限用例上准确率降至 13% 或更低。

为了确定这些失败是源于架构还是预训练，研究人员从头训练了六个 2.75 亿参数的模型：两个 transformer 变体、两个混合模型和两个具有不同记忆更新约束的 Gated DeltaNet 变体。训练序列最多包含 256 个赋值，而测试则扩展到该最大长度的 250 倍。

Ai2报告称，Gated DeltaNet和混合模型在r-trivial、非周期和可解任务上，在测试到的最长序列范围内几乎完美地泛化。Transformer学会了较简单的层级，但在超出其训练分布后性能下降，而且即使在分布内也从未学会一般有限任务。在一般有限任务上，允许正负特征值的Gated DeltaNet变体在约10倍于其最大训练长度时仍保持接近完美，而非负特征值变体在超过训练截断长度后立即性能下降。

研究人员将这一差异解读为证据：预训练有助于解释循环模型和混合模型在预训练后的失败，而Transformer在定向训练后仍在最难层级上持续失败，则指向架构上的局限。

公开资产与剩余局限

发布的数据集列出 68,000 行，总计 1.05 GB。其规范配置包含与格式化器无关的操作轨迹和最终状态；渲染后的记录则添加提示、补全、错误备选项、复杂度标签和生成元数据。Token 长度字段和分层支持按提示长度选择示例。

该代码仓库以 Apache-2.0 许可证发布，从规范轨迹生成任务族，并可强制训练集与测试集之间的语义不相交。它同时支持评估和训练数据生成，同时保留难度级别之间的受控关系。

论文还给出了一个证明：具有非负特征值的固定精度 Gated DeltaNet 能够解决所有非周期任务以及某些周期任务。这些任务包括奇偶性，即识别某个重复输入出现次数是偶数还是奇数的任务，不过奇偶性的构造依赖于舍入。该变体在层级中的确切位置仍未确定，它能否解决所有可解任务，以及数值精度和添加注意力层的影响，也同样尚未确定。

StateBench 还假设变量数量固定，因此它尚未能建模那些随着时间推移出现新人物和新对象的对话或文档。

该基准的核心区分在于接受长输入与保留其中状态之间。其受控任务使这一差异可跨架构测量，但固定变量的设计意味着，即使获得满分，也无法证明当文档或对话中出现新实体时能进行稳健追踪。