Grokking中的子空间结晶是结果而非原因

Shlok Mehendale 和 Paras Chopra 的研究发现，均场 MLP 与单层 Transformer 中的有效秩压缩跟随 grokking 转折出现，是 grokking 的结果而非原因。研究因此将压缩视为 grokking 的特征信号，而不是促成转折的机制。 在实验中，Transformer 在 250 步内已记住训练数据，但 grokking 转折直到 6,500 至 21,000 步才出现；最陡的有效秩下降约滞后转折 900 步。这表明秩压缩对应的是从记忆训练集到泛化阶段的变化，而非单纯的训练集记忆。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。