arXiv · Machine Learning· Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos·· 13 小时前AI 评分68
Language Models Can Control Their Own Attention：模型自主控制注意力范围
Language Models Can Control Their Own Attention
AI 导读
论文提出 Declarative Attention（DA），让语言模型在生成过程中声明使用全局、聚焦或局部注意力，推理引擎据此跳过大部分 KV cache 读取。在15项长上下文任务的零样本评测中，DA 使 Gemma-4-31B 和 Qwen-3.6-27B 每个响应的总注意力 token 分别减少45.8%和19.6%，准确率分别下降1.40pp和2.10pp，且额外解码步骤会带来开销。
来源：arXiv · Machine Learning · arxiv.org