arXiv · Machine Learning· Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim·· 9 小时前AI 评分47
动态短卷积提升 Transformer 性能
Dynamic Short Convolutions Improve Transformers
AI 导读
研究提出动态短卷积作为 Transformer 的新型神经网络组件，在 150M 至 2B 参数语言模型实验中持续优于标准 Transformer 和加入静态短卷积的模型。
来源：arXiv · Machine Learning · arxiv.org