arXiv · Machine Learning· Atri Vivek Sharma, Brian Formento, Alessio Lomuscio·· 8 小时前AI 评分49
StressSim:用于多轮智能体评测的意图保持型对抗用户模拟
Intent-Preserving Adversarial User Simulation for Multi-Turn Agent Evaluation
AI 导读
StressSim提出一种意图保持型对抗用户模拟框架,通过轻量级提示词优化生成有效且具挑战性的交互,以揭示多轮智能体的鲁棒性缺口。在MultiWOZ及tau-bench零售、航空领域测试中,gemini-3.8-flash和gpt-5.6-sol的tau-bench pass^4最高分别下降69%和62%;每任务使用20次rollout,目标保持性能下降不超过10%,无需模型微调。
来源:arXiv · Machine Learning · arxiv.org