算术泛化的漫长延迟

研究发现，Transformer在算术任务中的泛化延迟只会在训练集包含较少不同整数时出现，数字进制决定泛化所需的整数数量。以一步Collatz预测为例，进位只依赖当前位的进制所需训练整数少数倍，且进制难易排序可推广至其他任务和三种模型规模。随机初始化编码器的线性探针也能准确恢复输入低位余数，因此探针准确率不能可靠证明模型学会了计算。