arXiv · Machine Learning· Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Qing Cui, Jun Zhou, Yujun Wang, Biqing Huang·· 10 小时前AI 评分37
CausalMix：将数据混合视为语言模型训练中的因果推断
CausalMix: Data Mixture as Causal Inference for Language Model Training
AI 导读
CausalMix 将语言模型训练中的数据混合优化建模为因果推断，以数据池统计特征为协变量、领域混合为处理变量。研究基于 Qwen2.5-0.5B 的 512 次训练估计 CATE，外推至 800K 数据池并训练 7B 模型，同时推广至 Qwen3-4B-Base 的长链式思维数据。
来源：arXiv · Machine Learning · arxiv.org