复旦创智 OpenMOSS 团队研究混合架构中线性注意力与滑窗注意力的取舍

复旦创智邱锡鹏团队的论文《Mechanics of Long-Context Hybrid Models》系统比较了全注意力、滑窗注意力（SWA）和门控线性注意力（GLA/GDN）在长上下文混合架构中的表现。