arXiv · Machine Learning· Albert Alcalde, Leon Bungert, Konstantin Riedl, Tim Roith·· 8 小时前AI 评分39
低温区 Mean-Field Transformer 的集中现象量化分析
Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
AI 导读
研究证明，低温区深层 encoder-only Transformer 在推理过程中，Token 分布会快速集中到由 Key、Query 和 Value 矩阵诱导的投影映射下的初始分布推前像，并在中等时间尺度保持亚稳态。其 Wasserstein 距离误差随温度参数和推理时间呈定量衰减关系；数值实验还发现，有限 β 且时间较长时，系统会进入由 Value 矩阵谱主导的另一终态阶段。
来源：arXiv · Machine Learning · arxiv.org