arXiv · Machine Learning· Aryan Chowdhury, Riza Batista-Navarro·· 8 小时前AI 评分58
Fewer Heads, Fewer Memories：剪除冗余注意力头可抑制大模型逐字记忆
Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation
AI 导读
Aryan Chowdhury 和 Riza Batista-Navarro 在 GPT-2-XL（1.5B）上研究发现，推理前将大量冗余注意力头置零，可以显著减少模型对训练数据中已记忆序列的逐字复现。
来源：arXiv · Machine Learning · arxiv.org