baseVultra提出紧凑循环单元
热点事件持续更新
baseVultra提出紧凑循环单元
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
Linke Zhang提出 baseVultra 紧凑型非线性循环单元;在 TinyShakespeare 字符级语言建模的单层 200K 紧凑设置中,其验证损失为 1.594,低于参数匹配的 LSTM(1.604)和 GRU(1.616),密集循环矩阵向量计算量约为 GRU 的 54%。 该单元将唯一的密集 H×H 循环矩阵用于候选生成,把循环门矩阵替换为 O(H) 的对角交互。论文称,候选生成集中容量的优势主要出现在紧凑规模;在更大规模下,使用完整循环门的单元仍具竞争力。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
baseVultra:重新分配容量的紧凑型非线性循环单元报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv · Machine LearningbaseVultra:重新分配容量的紧凑型非线性循环单元
研究提出 baseVultra 紧凑型循环单元,将密集循环计算集中于候选生成,并以 O(H) 对角交互替代循环门矩阵。在 TinyShakespeare 紧凑型单层 200K 设置中,验证损失为 1.594,优于参数匹配的 LSTM(1.604)和 GRU(1.616),密集循环矩阵向量计算量约为 GRU 的 54%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。