Transformer非马尔可夫数据近无损预测理论

Kağan Akman、Jake Feldman Starosta、Naci Saldi 和 Serdar Yüksel 从理论上证明，经过最优训练的 Transformer 能够对非马尔可夫数据实现任意接近无损的下一 Token 预测，性能误差会随着上下文长度、训练数据量和模型近似精度的增加而趋近于零。 这一结论适用于平稳遍历数据源，以及满足滤波稳定性条件的隐马尔可夫模型。对于平稳遍历数据源，预测误差由熵差界定；对于 N 阶马尔可夫数据源，在滤波稳定性等条件下，误差随上下文窗口长度增加呈指数级衰减。该研究为 Transformer 处理具有长期依赖、不能简单用有限阶马尔可夫过程描述的数据提供了理论保证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。