arXiv · Machine Learning· Luyang Zhang, Jialu Wang, Bebei Li·· 9 小时前AI 评分37
选择数据混合，而非样本：面向 LLM 的组合式数据选择
Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs
AI 导读
研究提出面向 LLM 微调的组合式数据选择（CDS）框架，并设计 Mixture-then-Select，先分配各领域的样本数量，再按归因分数筛选样本。该方法在实证测试中比强基线高 20% 至 54%，且适用于不同归因方法、模型和数据池规模。其理论误差界与选择规模呈线性关系、独立于数据池规模，并可扩展至预算约束下的变价数据采购问题。
来源：arXiv · Machine Learning · arxiv.org