误差扩散优化器压缩二值模型训练状态

Pierre-Olivier Bonin提出误差扩散（ED）优化器，用2–8位量化残差缓冲区替代二值权重语言模型训练中的全精度潜在权重和Adam状态，将每个权重的训练状态从97位降至3–9位，最多减少19倍。 在97%参数为二进制的字符级Transformer上，ED收敛结果与参考相差1.7%；融合CPU内核可在275 MB训练内存预算内继续适配已部署模型。该方法还要求量化网格在所述阈值处恰有一个量化级。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。