arXiv · Machine Learning· Zhiyun Shi·· 7 小时前精选AI 评分81
Attic-KV 通过预测将被读取的内容预演 KV 缓存
Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
AI 导读
Zhiyun Shi 在论文《Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read》中提出 Attic-KV，用引用上下文的问答自测和自适应数量的锚点 token 进行免训练 KV 缓存预演。
推荐理由
论文比较了全量重读与面向可能答案的自测式缓存预演，并报告预算收紧时两者差距扩大，可用于理解 KV 缓存压缩中的预算分配问题。
来源：arXiv · Machine Learning · arxiv.org