SoftMoR递归机制提升视觉Transformer计算深度
热点事件持续更新
SoftMoR递归机制提升视觉Transformer计算深度
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Sang In Lee 和 Jihun Park 提出 Soft Mixture-of-Recursions（SoftMoR）机制，并将其用于 Soft Recursive Vision Transformer（SR-ViT），通过学习 token 级权重融合不同递归阶段的特征表示，使视觉 Transformer 能够复用参数、增加有效计算深度。该方法已被 WACV 2027 接收。 在 ImageNet-1K、COCO 和 ADE20K 上的实验显示，SR-ViT 可以通过增加递归次数提升模型表现，同时只增加少量参数。其中，ImageNet-1K 测试中，递归深度从 T=1 增至 T=3 后，Top-1 准确率从 79.83% 提升至 82.45%，额外增加 110 万参数。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
Soft Mixture-of-Recursions：通过递归加深 Vision Transformers报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · Machine LearningSoft Mixture-of-Recursions：通过递归加深 Vision Transformers
Soft Recursive Vision Transformer（SR-ViT）通过 Soft Mixture-of-Recursions（SoftMoR）学习 token 级权重，融合不同递归阶段的表示，以参数复用提升 Vision Transformers 的有效计算深度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。