跳到正文
arXiv · Machine Learning· Sangdo Han, Moonsoo Kim·· 18 小时前AI 评分66

提示优化器是否会破坏未评分要求?一项预注册研究

Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study

AI 导读

一项预注册研究发现,GEPA、MIPROv2 和 TextGrad 在提升目标指标时,会在 HotpotQA 上造成未评分要求的回归。三种优化器的引用有效性净回归为 10.7 到 41.6 个百分点,同时 exact match 提升 21 到 34 个百分点。

来源:arXiv · Machine Learning · arxiv.org