UpLoop 提出等计算量训练循环 Transformer 的方法
热点事件持续更新
UpLoop 提出等计算量训练循环 Transformer 的方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究团队提出 UpLoop 预训练方法，通过渐进式层扩展和共享中间层重复计算训练循环 Transformer，在最终参数量、训练 token 总数和训练 FLOPs 均与标准 dense 模型基线完全一致的条件下，实现循环计算，无需增加额外预训练计算量。 实验显示，UpLoop 在不同模型规模下改善了语言建模和下游任务表现。在 13 亿参数规模下，22 项下游任务的平均得分从 22.99 提升至 27.52；经过监督微调后，数学推理任务也取得了相应提升。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
UpLoop：无需额外预训练计算量的循环 Transformer 训练方法报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · Machine LearningUpLoop：无需额外预训练计算量的循环 Transformer 训练方法
研究团队提出 UpLoop，一种通过 upcycling 训练循环 Transformer 的预训练方案，在最终参数量、总训练 token 数和训练 FLOPs 与标准 dense baseline 完全一致的条件下，实现循环计算。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。