arXiv · Machine Learning· Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu·· 8 小时前AI 评分45
SparseGDN:线性注意力中的分块稀疏计算框架
SparseGDN: Chunk Sparse in Linear Attention
AI 导读
SparseGDN 提出一种面向硬件的 Gated Delta Networks(GDN)优化框架,通过结构化块内近似和输入相关的循环事件选择,降低长上下文 prefill 的计算与内存开销。
来源:arXiv · Machine Learning · arxiv.org