论文提出模型自主控制注意力范围
热点事件持续更新
论文提出模型自主控制注意力范围
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
论文提出 Declarative Attention（DA），让语言模型在生成时声明采用全局、聚焦或局部注意力，推理引擎据此跳过大部分 KV cache 读取；在 15 项长上下文任务的零样本评测中，Gemma-4-31B 和 Qwen-3.6-27B 的单次响应总注意力 token 分别减少 45.8% 和 19.6%，但准确率分别下降 1.40 和 2.10 个百分点。 该机制并非没有额外代价：模型需要增加解码步骤，论文称这会带来开销。上述结果仅来自这两种模型和该组长上下文任务，显示 DA 能减少注意力读取，但会以一定准确率损失及解码成本为代价。
AI 根据报道生成 · 1 小时前更新
最新进展10月16日 12:00
Language Models Can Control Their Own Attention：模型自主控制注意力范围报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · Machine LearningLanguage Models Can Control Their Own Attention：模型自主控制注意力范围
论文提出 Declarative Attention（DA），让语言模型在生成过程中声明使用全局、聚焦或局部注意力，推理引擎据此跳过大部分 KV cache 读取。在15项长上下文任务的零样本评测中，DA 使 Gemma-4-31B 和 Qwen-3.6-27B 每个响应的总注意力 token 分别减少45.8%和19.6%，准确率分别下降1.40pp和2.10pp，且额外解码步骤会带来开销。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。