arXiv · Machine Learning· Robson Tigre, Hugo Gobato Souto·· 9 小时前AI 评分47
何时可以信任你的合成用户？LLM 消费者面板的诊断与校正
When Can You Trust Your Synthetic Users? Diagnostics and Corrections for LLM Consumer Panels
AI 导读
研究提出框架，判断何时信任、校正或放弃 LLM 合成消费者面板，并区分总体不匹配与条件响应差异。框架结合协变量重叠、条件校准、跨模型稳定性诊断和增强型逆概率加权估计量，校正依赖人类数据及随机缺失、正值性假设。实验显示，部分情形名义 95% 置信区间覆盖率为 88--94%；无响应依赖缺失人类结果时，偏差显著且覆盖率接近零。
来源：arXiv · Machine Learning · arxiv.org