arXiv · Machine Learning· Ruohao Guo, Wei Xu, Alan Ritter·· 9 小时前AI 评分49
研究 LLM 交互中的危害放大及其缓解方法
Investigating and Alleviating Harm Amplification in LLM Interactions
AI 导读
研究提出多轮危害放大基准 HarmAmp,覆盖十二类风险,并设计主动监测器 TrajSafe,预测有害轨迹并通过探询用户意图、引导模型安全作答进行干预。实验显示,TrajSafe 能显著降低多轮交互中的危害性,同时保持较低的过度拒答率和目标模型的一般能力。
来源:arXiv · Machine Learning · arxiv.org