KV Cache Patching 揭示微调行为的形成机制

Jonas Loos 和 Oliver Eberle 提出 KV Cache Patching 方法，通过在 LoRA 微调模型与原始基础模型之间双向替换 KV cache，追踪微调行为产生的位置及注意力机制的作用。研究发现，对于部分行为，替换 KV cache 可以将微调模型的特征迁移到基础模型，包括使用德语回答和涌现式错位行为（emergent misalignment）。 这项研究表明，KV cache 不仅可用于分析模型内部信息流动，还能帮助识别特定微调行为在模型中的形成机制。论文发表于 NeurIPS 2026 的 Interpretability as a Science Workshop。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。