arXiv · Machine Learning· Qi Xu, Zijie Lei, Zhifei Deng, Zhigang Hua, Luke Simon·· 8 小时前AI 评分34
预训练容量何时有助于因果学习？从标量预测到反事实后训练
When Does Pre-Trained Capacity Help Causal Learning? From Scalar Prediction to Counterfactual Post-Training
AI 导读
研究基于 Qwen 2.5 的 CausalLLM 与 CausalGen，比较预训练模型容量对因果任务适配表现的关系。骨干模型从 0.5B 增至 1.5B 后，IHDP 标量估计结果不一；完整生成流程中的 CodeGen pass@1 从 0.267 升至 0.575，治疗效应得分从 0.231 升至 0.515。作者指出，结果仅支持容量与适配对齐的假设，不能证明普遍缩放规律或因果机制。
来源：arXiv · Machine Learning · arxiv.org