arXiv · Machine Learning· Linke Zhang·· 23 小时前AI 评分43
baseVultra：重新分配容量的紧凑型非线性循环单元
baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity
AI 导读
研究提出 baseVultra 紧凑型循环单元，将密集循环计算集中于候选生成，并以 O(H) 对角交互替代循环门矩阵。在 TinyShakespeare 紧凑型单层 200K 设置中，验证损失为 1.594，优于参数匹配的 LSTM（1.604）和 GRU（1.616），密集循环矩阵向量计算量约为 GRU 的 54%。
来源：arXiv · Machine Learning · arxiv.org