arXiv · Machine Learning· Jiyi Wang, Chenxiao Yang, Yujia Zhao, Jingzhao Zhang, Lu Mi·· 8 小时前AI 评分34
EISep RNN：将戴尔原则作为循环神经网络的归纳偏置
Leveraging Dale's Principle as an Inductive Bias in Recurrent Neural Networks
AI 导读
EISep RNN通过可学习的兴奋—抑制分离，在循环神经网络中实现戴尔原则。在多任务学习、持续学习和强化学习设置中，相较 vanilla RNN 和既有戴尔约束模型，它训练更稳定、性能持平或更优，连接也更稀疏、模块化。
来源：arXiv · Machine Learning · arxiv.org