arXiv · Machine Learning· Katie Matton, Rosalind W. Picard, John Guttag, Maggie Makar·· 10 小时前AI 评分43
语言模型如何通过反事实测试时增强移除捷径依赖
Counterfactual Test-Time Augmentation for Shortcut Removal in Language Models
AI 导读
研究提出反事实测试时增强（CTTA）方法，通过辅助模型生成改变捷径取值的反事实编辑，并对语言模型在这些编辑上的预测加权平均，以移除捷径依赖。作者证明最优的捷径不变预测器属于 CTTA 方法族，并提出 Select-CTTA 来选择方法。实验中，Select-CTTA 优于测试时基线，表现接近在捷径平衡数据上微调的模型。
来源：arXiv · Machine Learning · arxiv.org