arXiv · Machine Learning· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 13 小时前AI 评分49
RAQ-MLA：面向多头潜在注意力缓存的角色感知量化
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
RAQ-MLA 针对 Multi-Head Latent Attention（MLA）缓存中 latent 与 positional key 承担不同作用的问题，提出无需训练的角色感知量化方法。该方法将完整 MLA 缓存量化至约 2.5 bits per element，使理论 KV-cache 容量提升 6.5x，并在四个 MLA 模型的推理和编码任务上保持近乎无损。
来源：arXiv · Machine Learning · arxiv.org