arXiv · Machine Learning· Justin Y. Chen, Ying Feng, Piotr Indyk, Michael Kapralov, Ekaterina Kochetkova, Boris Prokhorov·· 8 小时前AI 评分41
有界键-查询相似度下的注意力：空间复杂度与 Transformer 各向异性
Attention under Bounded Key-Query Similarity: Space Complexity and Transformer Anisotropy
AI 导读
该研究分析键与查询的余弦相似度被限制在零附近时的注意力近似空间复杂度，并给出近乎空间最优的算法及相应下界。下界中的相似度分布呈现已被实证研究的各向异性；在典型参数范围内，简单的均匀采样算法也近乎最优。
来源：arXiv · Machine Learning · arxiv.org