arXiv · Machine Learning· Sinan G. Aksoy, Alexandra A. Sabrio, Erik VonKaenel, Lee Burke·· 9 小时前AI 评分43
文档干草堆中的语义针：LLM-as-a-Judge 相似度评分敏感性测试
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
AI 导读
研究提出多因素实验框架，测试 LLM-as-a-Judge 对成对文档细微语义变化的相似度评分敏感性。研究在数万组文档对上测试七个 LLM，发现部分模型对文档前部的语义差异惩罚更重，而无关主题语境几乎总会抬高相似度分数。各模型均最严厉惩罚否定改动，但尺度不同；改变相似度提示只影响效应幅度，不改变方向。
来源：arXiv · Machine Learning · arxiv.org