arXiv · Machine Learning· Pierre-Olivier Bonin·· 10 小时前AI 评分46
误差扩散取代潜在权重：用少量位的抖动状态训练二进制权重语言模型
Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State
AI 导读
研究提出误差扩散（ED）优化器，以2–8位残差缓冲区替代二进制权重语言模型训练中的全精度潜在权重及Adam状态，将每权重训练状态从97位降至3–9位，最多减少19倍。在97%参数为二进制的字符级Transformer上，ED收敛时与参考差1.7%；融合CPU内核可在275 MB训练内存预算内继续适配已部署模型。
来源：arXiv · Machine Learning · arxiv.org