先了解这件事
Ai2(Allen Institute for AI)于2026年11月4日发布StateBench基准,用于评测语言模型在长文档中追踪实体信息变化的能力。该基准按r-trivial、aperiodic、soluble、general finite四个难度级别考察模型表现。据Ai2博客介绍,在直接训练这些任务时,循环与混合架构的泛化距离远超Transformer;而Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol和Luna等前沿模型在输入变长后仍在更难的状态追踪任务上失效。测试的开放预训练模型包括7B的Olmo 3与Olmo Hybrid,以及275M和2.7B参数模型,训练上下文均不超过64,000 tokens。Unite.AI同日报道称,上述前沿模型在soluble与general finite任务上随输入变长准确率骤降,最长general finite用例仅13%或更低;数据集含68,000行、共1.05 GB,代码以Apache-2.0许可开源。
AI 根据公开报道生成
最新进展 · 正式报道
Ai2 发布 StateBench，衡量长上下文状态追踪能力事件进展
1 个已确认进展
- 来源：Ai2 Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月4日
Unite.AI
Ai2 发布 StateBench，衡量长上下文状态追踪能力
Allen Institute for AI（Ai2）发布 StateBench，用四级基准、数据集和代码测试语言模型能否在长文档中追踪变化的变量。测试中 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在 soluble 与 general finite 任务上随输入变长准确率骤降，最长 general finite 用例仅 13% 或更低。数据集含 68,000 行、共 1.05 GB，代码以 Apache-2.0 许可开源。
Ai2 Blog一手
Ai2 发布 StateBench：测试语言模型如何在长文档中追踪状态变化
Ai2 推出 StateBench，用于评测长上下文状态追踪能力，按 r-trivial、aperiodic、soluble、general finite 四个难度级别考察模型跟踪实体信息变化的表现。在直接训练这些任务时，循环与混合架构的泛化距离远超 Transformer；而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 等前沿模型在输入变长后仍在更难的状态追踪上失效。测试的开放预训练模型包括 7B 的 Olmo 3 与 Olmo Hybrid，以及 275M 和 2.7B 参数模型，训练上下文均不超过 64,000 tokens。