预训练模型容量对因果学习适配表现不一

Qi Xu等作者比较了基于 Qwen 2.5 的不同容量模型在因果学习任务上的表现：骨干模型从 0.5B 增至 1.5B 后，CausalLLM 在 IHDP 标量估计上的结果不一；CausalGen 完整生成流程的 CodeGen pass@1 从 0.267 升至 0.575，治疗效应得分从 0.231 升至 0.515。 两套系统在数据集、架构、输出形式和监督方式上均有差异，且没有中间阶段评估，因此结果不能单独证明后训练带来的贡献。作者称，只有两个较小模型规模和三次重复实验，发现仅支持“模型容量与适配方式应相匹配”的假设，不能据此确立普遍的缩放规律或因果机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。