单头注意力长度泛化的位置可实现性理论

研究提出单头位置注意力的位置可实现性理论，解释相对位置编码与绝对位置编码在长度泛化上的差异，并明确理论成立与失效的边界。通过模拟迁移算子 \(T_L\) 和可计算指标 \(\alpha_L\)，理论刻画了位置编码与长度泛化的关系；2625 次模型测量验证了受控单头场景下的分类结果，但不适用于依赖 token 内容的任务。