arXiv · Machine Learning· Mahmoud Abbasi, Juan M. N\'u\~nez V., Amin Shahraki·· 8 小时前AI 评分60
标准评估掩盖了什么？LLM 智能体劫持检测器在稀有攻击、未见工具与跨基准迁移中的局限
What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer
AI 导读
研究发现，现有 LLM 智能体劫持检测器评估存在攻击样本比例偏高、缺少跨基准测试等问题。在 2% 攻击率下，AUROC 达到 0.879 的检测器精确率仅为 0.076；当工具覆盖率下降时，检测器排名会在约 50% 覆盖率附近交叉并发生逆转。
来源：arXiv · Machine Learning · arxiv.org