研究提出基于核插值的 KV Cache 压缩方法

Michel Fabrice Serret 和 Laura Grigori 提出 GAIM、Q-DAIM 两种 KV Cache 压缩方法，分别基于广义经验插值法（GEIM）和 Q-离散经验插值法（Q-DEIM），利用希尔伯特空间中的核表示压缩 Attention 上下文。研究还引入基于泰勒级数、Performer 和随机傅里叶特征的代理模型，将原本关于上下文长度呈二次复杂度的压缩过程降至线性时间。 研究通过数值实验评估了残差收敛和未来查询的输出误差，并在 LongBench-E 基准上取得了与现有先进方法相当的初步结果。此外，作者将方法扩展到流式 Attention 场景，使插值节点选择能够考虑此前已插值的上下文，并支持根据新信息更新已有插值。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。