HiRes提出分层残差架构，提升Transformer计算效率

Ziteng Wang 等研究者提出分层残差架构 HiRes，通过分块结构将 Transformer 的残差宽度与层内计算宽度解耦，在保持每层计算宽度不变的同时扩展残差状态。具体而言，架构在块内使用标准 d 维 PreNorm 层，在块之间通过更宽的 D 维 PostNorm 残差连接传递状态。 论文报告，HiRes 在不同模型规模和深度下均优于传统残差相加方式，拟合的缩放定律显示其 FLOPs 效率提升约 1.30 倍。在 OLMoE-1B-7B 模型上进行 5000 亿 token 预训练时，HiRes 的训练损失降低 0.0208，下游任务准确率提高 1.14 个百分点。该架构仅需稠密投影和归一化操作，无需专用计算内核或基础设施级优化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。