arXiv · Machine Learning· Michel Fabrice Serret, Laura Grigori·· 8 小时前AI 评分49
基于核插值方法的 Attention 机制上下文压缩
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
AI 导读
研究提出 GAIM 和 Q-DAIM 两种 KV-cache 压缩方法，分别基于 GEIM 和 Q-DEIM，通过希尔伯特空间中的核表示实现 Attention 上下文压缩。
来源：arXiv · Machine Learning · arxiv.org