研究提出多轮危害放大基准与监控器
热点事件持续更新
研究提出多轮危害放大基准与监控器
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Ruohao Guo、Wei Xu 和 Alan Ritter 提出多轮危害放大基准 HarmAmp 及主动监控器 TrajSafe;论文实验显示,TrajSafe 可显著降低多轮交互中的危害性,同时保持较低的过度拒答率和目标模型的一般能力。 HarmAmp 覆盖十二类风险。TrajSafe 会预测交互轨迹是否可能有害,并通过探询用户意图、引导模型安全作答进行干预。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
研究 LLM 交互中的危害放大及其缓解方法报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · Machine Learning研究 LLM 交互中的危害放大及其缓解方法
研究提出多轮危害放大基准 HarmAmp,覆盖十二类风险,并设计主动监测器 TrajSafe,预测有害轨迹并通过探询用户意图、引导模型安全作答进行干预。实验显示,TrajSafe 能显著降低多轮交互中的危害性,同时保持较低的过度拒答率和目标模型的一般能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。