CausalMix用因果推断优化语言模型数据混合

Zinan Tang等作者提出 CausalMix，将语言模型训练的数据混合优化建模为因果推断：以数据池统计特征为协变量、领域混合为处理变量，离线估计不同状态下的混合方案，并在每次训练中固定方案。研究用 Qwen2.5-0.5B 的 512 次训练估计条件平均处理效应，将结果外推到含 80 万条数据的数据池，并用于训练 7B 模型；作者还将方法用于 Qwen3-4B-Base 的长链式思维数据。报道未提供模型效果提升的具体结果。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。