AllenAI 发布 StateBench 长上下文状态追踪基准

AllenAI 发布 StateBench 基准测试及相关技术报告，用于评估语言模型在长文档中追踪实体状态随内容变化的能力。基准将任务分为 R-trivial、aperiodic、soluble 和 general finite 四个复杂度层级，检验模型处理不同类型状态赋值与变化的能力。 为公平比较四个层级，StateBench 从同一组 general finite 状态赋值序列派生出三个较简单的版本。四种任务使用相同数量的变量和不同取值，赋值出现的位置也保持一致，仅改变赋值类型。基准目前假设变量数量固定，而真实场景中的文档可能不断引入新实体，这构成其适用范围的一项限制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。