预训练模型增加循环计算的成本与收益

Rhea Sanjay Sukthanker 和 Pashmina Cameron 在论文《There Is No Free Loop》中发现，预训练模型增加循环层并非普遍划算：在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 参数模型实验中，只有 0.8B 循环模型同时超过两组基线，4B 和 9B 模型则未能超过未增加循环层的同模型基线。 循环计算通过重复执行部分网络层增加每个 token 的计算量。论文指出，重复执行 N 层中的 m 层，会使每个 token 的推理成本约增加至原来的 (N+m)/N 倍。因此，在参数预算固定的情况下，预训练后增加循环层的收益主要体现在小规模模型上；模型规模增大后，额外推理成本未必能换来性能提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。