Ai2 发布 StateBench，测试语言模型能否在长文中持续追踪状态变化

Ai2 推出 StateBench，将长文中的状态追踪分为四个难度等级，并用对应任务比较不同模型架构。测试中，四款前沿模型在最难任务上的准确率随输入增长而明显下降，最长输入时降至 13% 或更低；针对任务直接训练的循环与混合模型在部分等级上能处理远长于训练时的序列。该框架目前只覆盖变量数量固定的情况。