arXiv · Machine Learning· Aaron Spieler, Georg Martius, Anna Levina·· 13 小时前AI 评分54
表达性神经元循环网络的缩放规律与取舍
Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons
AI 导读
这项研究提出 ELM Network，并分析固定参数预算下神经元数量、单元有效复杂度与连接度之间的分配取舍。模型在 SHD-Adding 和 Enwik8 字符级语言建模任务上评估，三个维度分别增加时性能均单调提升，而固定预算下存在非平凡的最优分配；预算增大时，更优分配倾向于采用更多且更复杂的神经元。
来源：arXiv · Machine Learning · arxiv.org