跳到正文
arXiv · Machine Learning· Jia Feng, Alyssa Wu, Cuiyun Gao, Yunlong Wang, Songyuanyi Lu, Zhichao Hu·· 10 小时前AI 评分67

FeatureLoop:面向需求持续演进的编码智能体基准测试

FeatureLoop: Benchmarking Coding Agents under Evolving Requirements

AI 导读

研究团队提出 FeatureLoop 基准,用于评测编码智能体在需求持续演进与反馈修正中的表现。基准包含来自34个代码仓库的61项人工审阅任务,覆盖五种主要编程语言和七类软件形式;研究团队评测了12个前沿模型,最强模型在同时提供两类反馈时完成率为72.1%。各模型观察到的失败阶段中,仅15.4%能在两次纠正修订内恢复,分析还发现修复不完整、回归以及模型在反馈使用和 token 效率上的差异。

来源:arXiv · Machine Learning · arxiv.org