Heads of Security 提出学习式注意力门控防御提示注入

研究团队提出 Heads of Security（HoS），通过少量可学习的逐注意力头门控机制，在可信指令与不可信内容之间重新分配注意力，使大模型能够理解不可信内容，同时避免执行其中隐藏的注入指令。研究团队在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评估了该方法。 在对抗测试中，经 autoresearch 强化的白盒攻击 Claudini，要达到相同的攻击成功率（ASR），对 HoS 所需的计算量是对 GPT-OSS-20B 或 SecAlign 发起攻击的 3 倍。研究还指出，另一种防御方法 ASIDE 在工具使用场景中的效用仅为 10%。这些结果反映了 HoS 在特定模型和攻击测试中的防御表现，并不代表其已能彻底消除提示注入风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。