arXiv · Machine Learning· Shlok Mehendale, Paras Chopra·· 10 小时前AI 评分60
Grokking 中的子空间结晶：秩压缩追踪相变
Subspace Crystallization in Grokking: Rank Compression Tracks the Phase Transition
AI 导读
该研究发现，均场 MLP 和单层 Transformer 中的有效秩压缩跟随 grokking 转折，而非训练集记忆。Transformer 均在 250 步内记忆训练数据，grokking 转折在 6,500 至 21,000 步出现，最陡的有效秩下降约滞后 900 步。
来源：arXiv · Machine Learning · arxiv.org