arXiv · Machine Learning· Ka\u{g}an Akman, Jake Feldman Starosta, Naci Saldi, Serdar Y\"uksel·2026-11-02 13:00· 8 小时前AI 评分51

最优训练的 Transformer 何时能对非马尔可夫数据实现近无损 Token 预测？

When can Optimally Trained Transformers Achieve Near-Lossless Token Prediction for non-Markovian Data?

AI 导读

论文从理论上研究 Transformer 在非马尔可夫数据上的下一 Token 预测能力，证明在平稳遍历数据源或满足滤波稳定性条件的隐马尔可夫模型下，随着上下文长度、数据量和近似精度增加，经过最优训练的 Transformer 可以实现任意小的性能误差。