剪除冗余注意力头可减少大模型逐字记忆

Aryan Chowdhury 和 Riza Batista-Navarro 发现，在推理前剪除冗余注意力头，可以显著减少 GPT-2-XL 对训练数据中已记忆序列的逐字复现，同时保持甚至改善语言建模表现。这一方法无需重新训练模型或修改训练数据。 研究在 1.5B 参数的 GPT-2-XL 上进行测试，将 729 个冗余注意力头置零后，已知记忆序列的复现数量减少 91.5%，WikiText-103 困惑度改善 0.92。结果表明，部分注意力头并非完成语言建模任务所必需，剪除它们可能同时降低模型对训练数据的直接记忆和复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。