跳到正文
热点事件持续更新

Δτ-Bench评估智能体适应工具生态变化

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Shuofei Qiao等提出智能体基准Δτ-Bench,用于测试工具生态持续变化时,智能体能否发现高效工具路径并更新程序性知识;论文报告,表现最强的受测模型或 harness 任务成功率为42.3%。 该基准包含覆盖42个领域、六个连续生态状态的1,588项多轮任务。论文还称,Steward通过增量维护技能和动态配置工具,在生态变化中保持了更高成功率,并降低技能维护开销。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · Machine Learning
    Δτ-Bench:面向动态能力边界的智能体基准测试

    Δτ-Bench提出一种可执行智能体基准,评估智能体在工具生态持续变化时发现高效工具路径并更新程序性知识的能力。基准包含覆盖42个领域、六个连续生态状态的1,588项多轮任务;表现最强的受测模型或 harness 任务成功率仅为42.3%,而 Steward 通过增量技能维护与动态配置工具,在生态变化中维持更高成功率并降低技能维护开销。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。