跳到正文
热点事件持续更新

Attic-KV 用自测问答压缩 KV 缓存

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Zhiyun Shi 提出免训练的 KV 缓存压缩方法 Attic-KV:模型用引用上下文的问答对自测,并保留数量随内容调整的锚点 token。论文称,在 RULER 和 LongBench 自然文本任务测试的八种设置中,Attic-KV 都是表现最好的免训练方法。 论文还称,在保留 3% 缓存的设置下,Attic-KV 比重新读取完整上下文高 41.9 分;这是论文报告的基准测试结果。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv · Machine Learning精选
    Attic-KV 通过预测将被读取的内容预演 KV 缓存

    Zhiyun Shi 在论文《Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read》中提出 Attic-KV,用引用上下文的问答自测和自适应数量的锚点 token 进行免训练 KV 缓存预演。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。