LLM评审实现跨语料咨询质量评分迁移
热点事件持续更新
LLM评审实现跨语料咨询质量评分迁移
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Tobias Hallmen、Elisabeth André提出并评估了一种基于专家评分量表的LLM评审方法，将咨询质量评分迁移到不同领域的语料库。在三个德语模拟咨询语料库（共195场会话）中，使用其他两个语料库的数据训练模型后，对未见语料库的预测Spearman相关系数达到0.533，高于同领域训练的0.420。 研究使用四个可在本地运行的开源权重LLM，从专家评分量表中提取对话构念进行评估。将评审目标设为量表中的具体构念，而非泛化的对话质量指标，可使迁移相关系数从0.32提高到0.42。仅使用语言信息时相关系数已达0.523，加入非语言特征仅增加0.01，且该增幅的置信区间包含零，未显示出明确的额外贡献。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
基于评分量表的 LLM 评审可将专家咨询质量评分迁移至三个德语语料库报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · Machine Learning基于评分量表的 LLM 评审可将专家咨询质量评分迁移至三个德语语料库
研究团队利用四个小型开源权重 LLM 评审模型，从专家评分量表中提取对话构念评分，实现三个德语模拟咨询语料库之间的跨领域预测。跨语料库预测的 Spearman ρ 达到 0.533，高于同领域训练的 0.420；仅使用语言信息即可达到 0.523，非语言特征仅额外提升 0.01。结果表明，其他项目的专家评分数据可用于训练咨询质量评估模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。