RAQ-MLA提出：将MLA缓存压缩至约2.5比特
热点事件持续更新
RAQ-MLA提出：将MLA缓存压缩至约2.5比特
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Tianqi Chen等作者提出无需训练的角色感知量化方法RAQ-MLA，针对多头潜在注意力（MLA）缓存中潜在表示与位置键作用不同的问题，将完整缓存量化至每元素约2.5比特，理论上可将KV缓存容量提升6.5倍。作者称，该方法在四种MLA模型的推理和编码任务上实现了近乎无损的效果。 RAQ-MLA根据不同缓存内容对注意力输出的影响分别优化可逆变换：对潜在表示关注注意力加权后的值误差，对位置键关注其引起的注意力分数扰动。该方法旨在兼顾缓存压缩率与模型任务表现，相关效果目前由作者报告的四种模型实验支持。
AI 根据报道生成 · 3 小时前更新
最新进展10月28日 12:00
RAQ-MLA：面向多头潜在注意力缓存的角色感知量化报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningRAQ-MLA：面向多头潜在注意力缓存的角色感知量化
RAQ-MLA 针对 Multi-Head Latent Attention（MLA）缓存中 latent 与 positional key 承担不同作用的问题，提出无需训练的角色感知量化方法。该方法将完整 MLA 缓存量化至约 2.5 bits per element，使理论 KV-cache 容量提升 6.5x，并在四个 MLA 模型的推理和编码任务上保持近乎无损。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月28日 21:00
- 近 24 小时变化
- –
02468
21:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。