arXiv · Machine Learning· Anda Tang, Xuanlin Yang, Junjie Wang, Zhouchen Lin·2026-10-28 12:00· 10 小时前AI 评分37

TUON：利用 Tensor-SVD 与极化技术的张量感知优化器，用于大型语言模型预训练

TUON: A Tensor-Aware Optimizer Utilizing Tensor-SVD and Polarization for Large Language Model Pretraining

AI 导读

TUON是一种面向大型语言模型预训练的张量感知优化器，利用基于Tensor-SVD的变换张量代数处理跨层相关性。它先通过酉变换混合层，再对变换后的切片进行极化，可扩展到更多层及QKV之外的模块。在GPT-124M/350M和Qwen-0.6B/4B上，TUON均持续优于Muon和TEON。