arXiv · Machine Learning· Heehyun Park·· 13 小时前AI 评分43
超越去重:相关干扰项下注意力的精确检索界限
Beyond Deduplication: Sharp Retrieval Limits for Attention with Correlated Distractors
AI 导读
研究在含指数级高斯干扰项与相关簇的检索模型中刻画注意力的检索阈值,指出减去簇大小的对数只能消除数量效应,无法消除簇内极端分数。即使依据全部分数选择温度,所需信号仍不低于 √(2α₁);先平均分数再指数化可将阈值降至 √(2ρα₁)。冻结句向量的受控实验显示,平均分数有助于检索单项目标,但相关组含多个匹配项时可能丢失有效证据。
来源:arXiv · Machine Learning · arxiv.org