Attic-KV 用自测问答压缩 KV 缓存
热点事件持续更新
Attic-KV 用自测问答压缩 KV 缓存
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Zhiyun Shi 提出免训练的 KV 缓存压缩方法 Attic-KV:模型用引用上下文的问答对自测,并保留数量随内容调整的锚点 token。论文称,在 RULER 和 LongBench 自然文本任务测试的八种设置中,Attic-KV 都是表现最好的免训练方法。 论文还称,在保留 3% 缓存的设置下,Attic-KV 比重新读取完整上下文高 41.9 分;这是论文报告的基准测试结果。
AI 根据报道生成 · 58 分钟前更新
最新进展10月12日 12:00
Attic-KV 通过预测将被读取的内容预演 KV 缓存报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv · Machine Learning精选Attic-KV 通过预测将被读取的内容预演 KV 缓存
Zhiyun Shi 在论文《Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read》中提出 Attic-KV,用引用上下文的问答自测和自适应数量的锚点 token 进行免训练 KV 缓存预演。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。