arXiv · Machine Learning· Hyunwoo Yu, Jongbeom Lee, Hyunbin Kim, Sungjun Park, Jaemin Choi, Jincheol Yang, Seunghun Moon, Bongjoon Hyun, Kyomin Sohn, Kyeongbo Kong, Suk-Ju Kang·· 4 天前AI 评分63
OpenAttention：用 Tail Proxies 在 1% 读取下保留 99% 密集注意力精度
OpenAttention: One Percent Is Enough with Tail Proxies
AI 导读
OpenAttention提出面向稀疏注意力尾部的处理流程，通过聚类、ErrorGate、top-k选择和count-aware mean proxy近似密集注意力分布。在RULER-32K HARD上，使用Llama-3.1-8B时以1%的读取比例保留99%的密集注意力精度；定制注意力内核在该读取比例下将decode attention阶段提速至密集注意力的10倍。
来源：arXiv · Machine Learning · arxiv.org