arXiv · Machine Learning· Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz·· 10 小时前AI 评分43
Δτ-Bench：面向动态能力边界的智能体基准测试
$\Delta\tau$-Bench: Pushing Agents Toward a Moving Capability
AI 导读
Δτ-Bench提出一种可执行智能体基准，评估智能体在工具生态持续变化时发现高效工具路径并更新程序性知识的能力。基准包含覆盖42个领域、六个连续生态状态的1,588项多轮任务；表现最强的受测模型或 harness 任务成功率仅为42.3%，而 Steward 通过增量技能维护与动态配置工具，在生态变化中维持更高成功率并降低技能维护开销。
来源：arXiv · Machine Learning · arxiv.org