arXiv · Machine Learning· Sangdo Han, Moonsoo Kim·· 18 小时前AI 评分66
提示优化器是否会破坏未评分要求?一项预注册研究
Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
AI 导读
一项预注册研究发现,GEPA、MIPROv2 和 TextGrad 在提升目标指标时,会在 HotpotQA 上造成未评分要求的回归。三种优化器的引用有效性净回归为 10.7 到 41.6 个百分点,同时 exact match 提升 21 到 34 个百分点。
来源:arXiv · Machine Learning · arxiv.org