Windowed-MTP 降低百万 Token 长上下文推测解码开销

Alagappan Valliappan 提出 Windowed-MTP，通过为 MTP 草稿头引入带注意力汇聚点（attention sink）的滑动窗口注意力，减少百万 Token 长上下文中的草稿 KV 缓存开销，同时保留目标模型的全上下文验证，因此不改变目标模型的输出分布。 该方法仅缩减草稿阶段的注意力范围，目标模型仍使用完整上下文验证。在 SGLang 中，针对 Gated DeltaNet 和 Mamba2 两类混合架构的三个模型、单 GPU 和 100 万 Token 上下文测试时，Windowed-MTP 相比原生 MTP 实现了每解码步 1.28–1.44 倍的加速；上下文越长，加速幅度越大。在接受率相同的条件下，每输出 Token 时间（TPOT）也获得相同比例的改善。 论文 v2 版本还指出，窗口化草稿注意力已合并至 SGLang 上游代码库（PR #32673）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。