arXiv · Machine Learning· Surya Saka·2026-10-28 12:00· 8 小时前AI 评分50

语言模型能否边思考边学习？跨架构测试梯度适应

Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures

AI 导读

论文研究语言模型能否在处理文本时通过梯度更新学习：在2k-token窗口和每128-token执行一次SGD更新的设置下，softmax-attention模型的后续token loss下降5-8%，而Hybrid Gated-DeltaNet模型在各学习率下提升低于1%。