arXiv · Machine Learning· Sang In Lee, Jihun Park·· 8 小时前AI 评分39
Soft Mixture-of-Recursions:通过递归加深 Vision Transformers
Soft Mixture-of-Recursions: Going Deeper with Recursive Vision Transformers
AI 导读
Soft Recursive Vision Transformer(SR-ViT)通过 Soft Mixture-of-Recursions(SoftMoR)学习 token 级权重,融合不同递归阶段的表示,以参数复用提升 Vision Transformers 的有效计算深度。
来源:arXiv · Machine Learning · arxiv.org