热点事件持续更新

学习式随机停止改善循环Transformer外推稳定性

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

研究者提出用学习式随机停止调度稳定循环 Transformer 的外推表现；研究发现，RL-Halting 通常能改善准确率与稳定性的权衡，但并未消除所有不确定性。循环 Transformer 虽能泛化到训练序列长度之外，但在分布外数据上的方差较高，预测还会随推理循环次数变化。训练时随机化循环次数可降低这种方差；该方法在二进制加法、Dyck-1、Unique Set 和 Copy 任务上也可能稳定地使用次优计算。

AI 根据报道生成 · 55 分钟前更新

最新进展10月16日 12:00

通过学习式随机停止稳定 Looped Transformers 的外推

报道时间线

沿着报道，了解事件的不同侧面。

10月16日

12:00
arXiv · Machine Learning
通过学习式随机停止稳定 Looped Transformers 的外推
Looped Transformers 在训练序列长度之外具有长度泛化能力，但其分布外（OOD）方差较高，预测也会随推理时循环次数变化。研究发现，训练时随机化循环次数可降低 OOD 方差；将 RL-Halting 作为学习式随机调度，通常能改善准确率与稳定性的权衡。该方法在二进制加法、Dyck-1、Unique Set 和 Copy 任务上也可能稳定次优计算。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。