单头位置注意力长度泛化理论划定适用边界

Jiasong Han、Yunkai Chai 和 Jintao Wang 提出单头位置注意力的位置可实现性理论，解释相对位置编码与绝对位置编码在长度泛化上的差异，并明确理论成立与失效的边界。研究通过模拟迁移算子 T_L 和可计算指标 α_L 刻画位置编码与长度泛化之间的关系，并以 2625 次模型测量验证了受控单头场景下的理论分类。 该理论仅适用于目标只依赖位置信息的任务，不涵盖依赖 token 内容的任务，因此加法、排序等标准长度泛化任务不在其定理适用范围内。此外，一般确定性情形仍是尚待证明的开放猜想，不能将受控单头场景下的结论直接推广到更一般的注意力模型或任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。