arXiv · Machine Learning· Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi·· 13 小时前AI 评分47
通过学习式随机停止稳定 Looped Transformers 的外推
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
AI 导读
Looped Transformers 在训练序列长度之外具有长度泛化能力，但其分布外（OOD）方差较高，预测也会随推理时循环次数变化。研究发现，训练时随机化循环次数可降低 OOD 方差；将 RL-Halting 作为学习式随机调度，通常能改善准确率与稳定性的权衡。该方法在二进制加法、Dyck-1、Unique Set 和 Copy 任务上也可能稳定次优计算。
来源：arXiv · Machine Learning · arxiv.org