arXiv · Machine Learning· Alagappan Valliappan·· 8 小时前AI 评分59
Windowed-MTP 论文：通过窗口化草稿注意力降低百万 Token 上下文的 Draft-KV 开销
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
AI 导读
Windowed-MTP 通过仅对 MTP 草稿头应用带 attention sink 的滑动窗口注意力，降低百万 Token 上下文下全上下文 Draft-KV 开销，同时保留目标模型的全上下文验证。
来源：arXiv · Machine Learning · arxiv.org