arXiv · Machine Learning· Skye Gunasekaran, T\'ea Wright, Rui-Jie Zhu, Jason Eshraghian·· 10 小时前AI 评分38
SATFormer：学习何时在 Transformer 中使用早期值残差
SATFormer: Learning When to Use Early Value Residuals in Transformers
AI 导读
研究提出 SATFormer，以依赖上下文的门控控制首层值投影 V_1 的访问，将早期表示复用视为检索问题。在 130M 至 1.3B 参数模型中，它在所有评估规模上降低验证损失，并在四种规模上提升平均 zero-shot accuracy，优于静态值残差和 Transformer 基线。在检索密集型 benchmark 上，其相较静态值残差平均提升约 1.5 个点，同时吞吐和内存接近基线。
来源：arXiv · Machine Learning · arxiv.org