知乎专栏:机器之心· 机器之心·· 5 小时前AI 评分57
NeurIPS 2026 接收 STILL:面向内容感知的层内混合注意力架构
NeurIPS 2026 | 层内混合注意力:告别位置「伪混合」,STILL首个内容感知的层内混合注意力架构
AI 导读
哈尔滨工业大学(深圳)等单位提出 STILL,通过内容重要性在同一层内为 token 分配 Softmax 注意力或线性注意力,并已被 NeurIPS 2026 接收。该方法以局部窗口预测远端历史信息的自显著性分数,实证重合率达 84.8%;仅用 0.04B 训练 token,在 16K 上下文下实现 80% 显存削减和 83% 预填充加速,长上下文基准相对已有线性化方法最高提升 86.2%。
来源:知乎专栏:机器之心 · zhuanlan.zhihu.com