热点事件持续更新

Slim Attention 提出无损压缩 Transformer 上下文内存的方法

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Nils Graef、Kayvan Zahiri 和 Andrew Wasielewski 提出 Slim Attention，通过仅保留 K-cache，将采用多头注意力（MHA）的 Transformer 模型上下文内存减少一半，同时保持与标准注意力机制在数学上的完全等价，不损失模型精度。该方法旨在降低长上下文推理的内存占用，并在大上下文窗口下将推理速度最高提升 2 倍。不同模型的压缩幅度有所不同：Whisper 模型的上下文内存可减少 8 倍，在 batch size 为 64 时，token 生成速度最高提升 5 倍；T5-11B 的内存可减少 32 倍，这是因为其 MHA 投影维度大于嵌入维度。上述性能提升数据对应各自特定模型和条件，并非所有 Transformer 模型的通用表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月2日

13:00
arXiv · Machine Learning
Slim attention：通过 K-cache 将 MHA 上下文内存减半且不损失精度
Slim attention 为采用 MHA（多头注意力）的 Transformer 模型将上下文内存减少 2 倍，且与标准注意力机制在数学上完全等价，不损失模型精度。对于 Whisper 模型，内存可减少 8 倍，batch size 为 64 时 token 生成速度最高提升 5 倍；T5-11B 的内存可减少 32 倍。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。