跳到正文
热点事件持续更新

研究提出多轮危害放大基准与监控器

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Ruohao Guo、Wei Xu 和 Alan Ritter 提出多轮危害放大基准 HarmAmp 及主动监控器 TrajSafe;论文实验显示,TrajSafe 可显著降低多轮交互中的危害性,同时保持较低的过度拒答率和目标模型的一般能力。 HarmAmp 覆盖十二类风险。TrajSafe 会预测交互轨迹是否可能有害,并通过探询用户意图、引导模型安全作答进行干预。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · Machine Learning
    研究 LLM 交互中的危害放大及其缓解方法

    研究提出多轮危害放大基准 HarmAmp,覆盖十二类风险,并设计主动监测器 TrajSafe,预测有害轨迹并通过探询用户意图、引导模型安全作答进行干预。实验显示,TrajSafe 能显著降低多轮交互中的危害性,同时保持较低的过度拒答率和目标模型的一般能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。