arXiv · Machine Learning· Ziteng Wang, Jianqiao Lu, Xinyu Ma, Jintao Zhang, Jun Zhu, Yiyuan Ma, Jianfei Chen·· 8 小时前AI 评分50
Hierarchical Residuals（HiRes）：解耦残差宽度与计算宽度的极简架构设计
Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width
AI 导读
Hierarchical Residuals（HiRes）通过分块结构解耦 Transformer 的残差宽度与计算宽度，在保持层内计算宽度固定的同时扩展残差状态。
来源：arXiv · Machine Learning · arxiv.org