arXiv · Machine Learning· Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala·· 8 小时前AI 评分63
GENSTRAT：构建大语言模型策略推理科学的评测框架
GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models
AI 导读
研究团队提出 GENSTRAT，通过程序生成双人零和不完全信息下注博弈，评估大语言模型的策略推理能力，以缓解固定游戏评测集饱和和数据污染问题。研究从状态空间、时间依赖、对手依赖、私有信息和精度五个维度刻画游戏复杂度，构建包含 50 款游戏的基准，并组织 12 个前沿及开放权重模型进行超过 40,000 场模型对战。
来源：arXiv · Machine Learning · arxiv.org