arXiv · Machine Learning· Jiamu Zhang, Hanjie Chen·· 8 小时前AI 评分49
BellowsKV：多层共享一个潜在表示，并按需扩展
BellowsKV: One Latent for Many Layers, Expanded on Demand
AI 导读
BellowsKV提出免训练KV缓存压缩方法，将相邻n层的隐藏状态映射为每个token一个共享latent，推理时各层通过专属投影读取键和值。在Llama-3.1-8B、Mistral-7B和Qwen2.5-7B上，BellowsKV-Quant在3.6x压缩时保留约99%全缓存准确率，13-14x时保留97-98%；最强跨层方法在16x时至多保留84%。
来源：arXiv · Machine Learning · arxiv.org