热点事件持续更新

ResonatorLM加入输入依赖读出相位

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

Shivesh Rane提出让 ResonatorLM 的读出相位随当前 token 变化；论文报告称，这一机制仅增加 0.2% 参数，并保留精确卷积。在 600 万参数的字符级模型中，WikiText-2 上以 256 个 token 训练、1024 个 token 测试时，困惑度从 12.81 降至 3.76。论文称，学习到的相位跟随当前字符而非距离变化，但该方法没有改善检索。

AI 根据报道生成 · 1 小时前更新

最新进展10月12日 12:00

共振序列模型的输入依赖读取相位

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

12:00
arXiv · Machine Learning
共振序列模型的输入依赖读取相位
论文提出让 ResonatorLM 的读取相位随当前 token 变化，在增加 0.2% 参数的同时保留精确卷积。6M 参数字符级模型在 WikiText-2 上以 256 个 token 训练、1024 个 token 测试时，困惑度从 12.81 降至 3.76；该方法没有改善检索。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。