OpenAttention提出稀疏注意力流水线
热点事件历史事件
OpenAttention提出稀疏注意力流水线
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
Hyunwoo Yu等作者提出OpenAttention稀疏注意力流水线，并报告称该方法在特定测试中以1%的读取量保留99%的密集注意力精度，定制内核可将解码注意力阶段提速至密集注意力的10倍。 该流程依次使用聚类、ErrorGate、top-k选择和count-aware mean proxy近似密集注意力分布。上述精度结果适用于RULER-32K HARD上的Llama-3.1-8B；10倍加速同样针对该1%读取比例下的解码注意力阶段。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
OpenAttention：用 Tail Proxies 在 1% 读取下保留 99% 密集注意力精度报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv · Machine LearningOpenAttention：用 Tail Proxies 在 1% 读取下保留 99% 密集注意力精度
OpenAttention提出面向稀疏注意力尾部的处理流程，通过聚类、ErrorGate、top-k选择和count-aware mean proxy近似密集注意力分布。在RULER-32K HARD上，使用Llama-3.1-8B时以1%的读取比例保留99%的密集注意力精度；定制注意力内核在该读取比例下将decode attention阶段提速至密集注意力的10倍。