复旦团队比较长上下文混合注意力架构

复旦大学邱锡鹏团队开展长上下文混合架构研究，系统比较了全注意力、滑窗注意力（SWA）和门控线性注意力（GLA/GDN）的组合表现，并分析不同注意力机制之间的协同关系。 研究覆盖376M、776M、1B和3B四种模型规模，采用先进行4k上下文短文预训练、再进行32k上下文长文续训的训练流程，重点考察不同注意力机制的混合位置对长上下文任务表现的影响。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。