arXiv · Machine Learning· Marius Henry, Michael Rizvi-Martel, Michael Hahn·· 8 小时前AI 评分40
多层 Transformer 的定量泛化界：少量长字符串可能胜过大量短字符串
Quantitative Generalization Bounds for Multi-Layer Transformers: A Few Long Strings can Beat Many Short Ones
AI 导读
这项研究为固定精度多层 Transformer 同时建立分布内统计泛化与长度泛化的定量保证，并分析两者如何相互作用。结果显示，增加训练长度相较增加样本量可能带来指数级更高效率，实验结果支持理论预测。
来源：arXiv · Machine Learning · arxiv.org