arXiv · Machine Learning· Andreas Kirsch·2026-10-28 12:00· 13 小时前AI 评分34

采用共享 KV 缓存的 LSTM 式循环 Transformer

LSTM-Style Looped Transformers with Shared KV Caches

AI 导读

研究考察一种共享单组 KV 缓存的 LSTM 式 Transformer：宽度为 1024 时，相比非共享权重对照模型，参数减少 40.4%，前向 FLOPs 几乎匹配，持久缓存组从 15 组降至 4 组。训练在固定 token 预算的最后 10% 加入一致性损失，使三种宽度模型在 FineWeb 上的续训损失惩罚降低 81–89%，并在两个训练种子和互不重叠文档上复现。

来源：arXiv · Machine Learning · arxiv.org

性能与基准论文与技术报告 #论文/研究 #模型优化 #性能/基准