arXiv · Machine Learning· Jihwan Moon, Sheir A. Zaheer, Jinmyoung Lee, Gunhee Kim, Chan Y. Park·· 9 小时前AI 评分44
语言模型预训练中的贪心局部学习：差距与目标设计
Greedy Local Learning for Language Model Pretraining: Gaps and Objective Design
AI 导读
一项针对语言模型预训练的实证研究评估了贪心局部学习在125M和400M参数、K∈{1,2,4}区块下的损失差距与辅助目标设计。结果显示，K=2到K=4时与端到端训练的差距增逾一倍，但K=4从125M到400M时缩小；Transformer辅助结构可弥补22-41%的差距。
来源：arXiv · Machine Learning · arxiv.org