arXiv · Machine Learning· Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Bing Li, Ulf Schlichtmann·· 13 小时前AI 评分54
KV Packet：面向 LLM 的无重计算上下文无关 KV 缓存
KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
AI 导读
KV Packet 提出一种无需重计算的上下文无关 KV 缓存复用框架，将缓存文档作为不可变数据包，并用可训练的软 token 适配器处理上下文 discontinuity。基于 Llama-3.1 和 Qwen-3 的实验显示，该方法实现近零 FLOPs 和更低 TTFT，同时保持与完全重计算基线相近的 F1 分数。
来源：arXiv · Machine Learning · arxiv.org