循环Transformer共享KV缓存降低参数与缓存开销
热点事件持续更新
循环Transformer共享KV缓存降低参数与缓存开销
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Andreas Kirsch研究了一种在循环核心共享单组键值（KV）缓存的LSTM式Transformer；在宽度为1024时，它比非共享权重对照模型少用40.4%的参数，前向FLOPs几乎相同，持久缓存组则从15组降至4组。 在固定token预算训练的最后10%加入一致性损失后，三种宽度模型在FineWeb上的续训损失惩罚相对全缓存评估降低81%–89%；这一结果在两个训练种子和互不重叠的文档上复现。
AI 根据报道生成 · 3 小时前更新
最新进展10月28日 12:00
采用共享 KV 缓存的 LSTM 式循环 Transformer报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning采用共享 KV 缓存的 LSTM 式循环 Transformer
研究考察一种共享单组 KV 缓存的 LSTM 式 Transformer：宽度为 1024 时，相比非共享权重对照模型，参数减少 40.4%，前向 FLOPs 几乎匹配，持久缓存组从 15 组降至 4 组。训练在固定 token 预算的最后 10% 加入一致性损失，使三种宽度模型在 FineWeb 上的续训损失惩罚降低 81–89%，并在两个训练种子和互不重叠文档上复现。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 810月28日 21:00
- 近 24 小时变化
- –
02468
21:0022:0023:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。