arXiv · Machine Learning· Timoth\'ee Lesort, Alejandra L\'opez de Aberasturi G\'omez, Tristan Karch, Tom Veniat, Philippe Modard, Karl Tuyls, Ludovic Denoyer·· 13 小时前AI 评分55
论文提出基于国际象棋的 LLM 提示优化基准
Benchmarking Prompt Optimization of Large Language Models With Chess
AI 导读
论文提出一个由 1,118 个 Lichess 棋题构成的国际象棋基准，用于评估冻结大语言模型的自动提示优化。研究在 8 个目标模型上比较了 6 种 APO 算法；作为元模型使用的 Gemini 3.5 Flash 仅解出约 55% 的棋题，完整研究成本约为 $800。论文发布了棋题、优化与评测代码以及数据集更新脚本，链接：https://arxiv.org/abs/2610.00416
来源：arXiv · Machine Learning · arxiv.org