跳到正文
arXiv · Machine Learning· Zhichao Yang, Sepehr Janghorbani, Dongxu Zhang, Jun Han, Qian Qian, Andrew Ressler II, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman·· 16 小时前AI 评分56

Health-SCORE提出面向医疗 LLM 的可扩展评价量表框架

Health-SCORE: Towards Scalable Rubrics for Improving Health-LLMs

AI 导读

Health-SCORE提出一套可扩展的量表式训练与评估框架,旨在降低医疗 LLM 评价量表的开发成本,同时保持评估表现。该框架可将量表作为带安全监督的强化学习奖励信号,也可直接纳入提示进行上下文学习;在开放式医疗任务中,其评价质量与人工制定量表相当,开发投入更低。

来源:arXiv · Machine Learning · arxiv.org