BellowsKV提出跨层KV缓存压缩方法
热点事件持续更新
BellowsKV提出跨层KV缓存压缩方法
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Jiamu Zhang和Hanjie Chen提出免训练的BellowsKV，将相邻多层的隐藏状态映射为每个token一个共享潜在表示，推理时由各层专属投影读取键和值；论文报告，该方法在测试模型上以较高压缩率保留了接近全缓存的准确率。 在Llama-3.1-8B、Mistral-7B和Qwen2.5-7B上，BellowsKV-Quant压缩至3.6倍时保留约99%的全缓存准确率，压缩至13至14倍时保留97%至98%。论文称，最强的跨层对比方法在16倍压缩时准确率至多为84%。
AI 根据报道生成 · 41 分钟前更新
最新进展10月28日 12:00
BellowsKV：多层共享一个潜在表示，并按需扩展报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningBellowsKV：多层共享一个潜在表示，并按需扩展
BellowsKV提出免训练KV缓存压缩方法，将相邻n层的隐藏状态映射为每个token一个共享latent，推理时各层通过专属投影读取键和值。在Llama-3.1-8B、Mistral-7B和Qwen2.5-7B上，BellowsKV-Quant在3.6x压缩时保留约99%全缓存准确率，13-14x时保留97-98%；最强跨层方法在16x时至多保留84%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。