RNN格结构剪枝理论修正及匹配稀疏度评测

Rakesh Sengupta发布修订论文，修正了基于偏序集的循环神经网络（RNN）依赖格剪枝理论，并通过匹配稀疏度实验检验其效果。结果显示，新提出的顺序评分并未优于度数、PageRank或权重范数等方法，训练权重也没有明显的方向偏置。 研究将阈值化依赖图压缩为强连通分量，构建依赖序和无环剪枝规则。在128单元LSTM的序列MNIST实验中，原有剪枝规则会移除全部循环权重，或表现得与相同稀疏度的随机列剪枝相当；从初始化阶段强制无环结构，在50%和90%稀疏度下分别造成2.1和10.5个百分点的性能损失。论文同时撤回了第一版中的Transformer扩展。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。