语言模型边处理边学习效果因架构而异

Surya Saka发表论文测试语言模型处理文本时能否通过梯度更新学习，结果显示效果取决于架构：在2k-token窗口、每128个token更新一次的设置下，softmax注意力模型的后续token loss下降5%至8%；Hybrid Gated-DeltaNet模型在不同学习率下提升均低于1%。 论文还报告，降低学习率并裁剪更新后，这种方法使两种掩码扩散模型的loss分别下降8%和17%至20%。但在多项检索与长文本任务测试中，基于全文更新的权重没有挽回上下文截断造成的准确率损失；论文将适应效果归于风格和词汇，而非检索能力。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。