arXiv · Machine Learning· Cheng Liang, Tengfei Zhang, Ya Zhang, Yanfeng Wang, Zhouhan Lin·2026-11-02 13:00· 8 小时前AI 评分53

UpLoop：无需额外预训练计算量的循环 Transformer 训练方法

UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute

AI 导读

研究团队提出 UpLoop，一种通过 upcycling 训练循环 Transformer 的预训练方案，在最终参数量、总训练 token 数和训练 FLOPs 与标准 dense baseline 完全一致的条件下，实现循环计算。