跳到正文
arXiv · Machine Learning· Yen-Shan Chen, Zhi Rui Tam, Cheng-Kuang Wu, Yun-Nung Chen·· 8 小时前AI 评分70

Expected Harm 重新审视对齐与未对齐 LLM 的安全评估

Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs

AI 导读

论文提出 Expected Harm 指标,将越狱攻击的危害严重程度与现实执行概率结合,后者根据攻击执行成本建模,以评估 LLM 的预期危害。研究发现,当前模型存在系统性的反向风险校准现象,对执行成本高、现实发生概率低的威胁表现出更强的拒绝行为,却容易受到执行成本低的高概率威胁攻击。

来源:arXiv · Machine Learning · arxiv.org