Hugging Face Blog·· 8 小时前精选AI 评分67
AllenAI 发布 StateBench 基准，评估语言模型在长文档中的状态追踪能力
StateBench: Testing how language models track state changes over long documents
AI 导读
AllenAI 推出 StateBench 基准，用于评估语言模型在长上下文中追踪实体状态变化的能力，并将任务划分为 R-trivial、aperiodic、soluble 和 general finite 四个复杂度层级。
推荐理由
StateBench 将长文档状态追踪拆分为四个复杂度层级，并在不同架构和训练条件下进行比较，有助于区分预训练不足与架构本身的能力边界。
来源：Hugging Face Blog · huggingface.co