Fast KVzip：通过门控 KV 淘汰实现高效、准确的 LLM 推理

Fast KVzip 为冻结权重的 LLM 提出门控式 KV 缓存淘汰方法，在计算开销可忽略的情况下保留关键 KV 对。实验显示，该方法在 Qwen2.5-1M、Qwen3 和 Gemma3 系列上最多淘汰 70% 的 KV 缓存，同时保持近乎无损的性能。门控训练仅依赖 LLM 前向传播，并通过任务无关的重建目标实现任务泛化。