跳到正文
arXiv · Machine Learning· Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang·· 17 小时前AI 评分55

ContinualSkillBench:LLM 智能体能否真正演化其能力?

ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?

AI 导读

研究者提出 ContinualSkillBench,用于评估 LLM 智能体在五个领域、每个领域 100 个按难度排序任务中的上下文持续技能学习。实验显示,顺序执行通常能提升性能,但在两个模型和三个领域中,仅保留上下文与反馈的平均表现与维护显式技能库几乎相同。显式技能对需要可复用流程或精确输出的任务仍有选择性收益,而较弱模型 GPT-4o 累积的技能更多、复用却更少。

来源:arXiv · Machine Learning · arxiv.org