跳到正文
热点事件持续更新

StressSim压力测试揭示多轮智能体鲁棒性缺口

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Atri Vivek Sharma、Brian Formento和Alessio Lomuscio提出StressSim,用意图保持的对抗用户模拟测试多轮智能体;在tau-bench零售和航空测试中,Gemini 3.8 Flash与GPT-5.6 Sol的pass^4最高分别下降69%和62%。 StressSim通过轻量级提示词优化生成有效且具挑战性的交互,并在MultiWOZ及tau-bench上测试。报告称,每项任务使用20次rollout,目标保持性能下降不超过10%,无需微调模型。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · Machine Learning
    StressSim:用于多轮智能体评测的意图保持型对抗用户模拟

    StressSim提出一种意图保持型对抗用户模拟框架,通过轻量级提示词优化生成有效且具挑战性的交互,以揭示多轮智能体的鲁棒性缺口。在MultiWOZ及tau-bench零售、航空领域测试中,gemini-3.8-flash和gpt-5.6-sol的tau-bench pass^4最高分别下降69%和62%;每任务使用20次rollout,目标保持性能下降不超过10%,无需模型微调。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。