低温区 Transformer 的 Token 分布集中与渐近动力学

Albert Alcalde、Leon Bungert、Konstantin Riedl 和 Tim Roith 发表理论研究，证明低温区深层 Encoder-only Transformer 在推理过程中，Token 分布会快速集中到由 Key、Query、Value 矩阵诱导的投影映射作用于初始分布后得到的分布，并在中等时间尺度维持亚稳态。 研究通过 Wasserstein 距离量化这一集中过程，给出了误差随温度参数和推理时间变化的定量关系：低温极限下，误差包含随温度降低而减小的项，以及随推理时间指数衰减的项。数值实验还发现，当温度参数有限且推理时间足够长时，系统会进入不同的终态阶段，其动力学主要由 Value 矩阵的谱性质决定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。