arXiv · Machine Learning· Shivesh Rane·2026-10-12 12:00· 23 小时前AI 评分59

共振序列模型的输入依赖读取相位

An Input-Dependent Readout Phase for Resonant Sequence Models

AI 导读

论文提出让 ResonatorLM 的读取相位随当前 token 变化，在增加 0.2% 参数的同时保留精确卷积。6M 参数字符级模型在 WikiText-2 上以 256 个 token 训练、1024 个 token 测试时，困惑度从 12.81 降至 3.76；该方法没有改善检索。