StateBench 发布：评估长文档中语言模型状态追踪能力

AI2 团队发布 StateBench 基准，用于测试语言模型在长文档中追踪实体状态变化的能力。该基准基于 Krohn-Rhodes 理论划分了四个难度层级，从不可变赋值到复杂的引用赋值。测试显示，Transformer 架构在处理复杂状态链时存在理论局限，而 Gated DeltaNet 等混合架构在直接训练下泛化能力更强。尽管 Gemini 3.8 Flash 等前沿模型表现优异，但在输入长度增加时，其在高难度状态追踪任务上仍会出现性能下降。

要点

• StateBench 包含四个难度层级，对应不同的变量赋值操作复杂度，旨在全面评估模型的状态追踪能力。
• 研究发现 Transformer 在处理长依赖链的状态追踪时存在理论瓶颈，而混合架构如 Gated DeltaNet 表现更优。
• 测试涵盖 Olmo 3 等开源模型及 Gemini 3.8 Flash、Claude Opus 5.5 等前沿模型，揭示了不同架构在长上下文下的差异。
• 基准设计允许从同一序列推导不同难度的问题，确保在变量数量和赋值位置一致的情况下公平比较模型性能。

为什么值得关注

该基准为评估大模型在代码阅读、叙事逻辑等场景下的长上下文理解提供了新标准。对于从事 AI 辅助创作或图形学工具开发的从业者，了解不同架构在状态追踪上的差异，有助于选择更适合处理复杂逻辑依赖的模型，优化工作流中的自动化环节。