固定 Logit 校正仅部分恢复模型遗忘

研究人员在14组、参数规模1B至7B的基础模型与衍生模型上测试固定词汇偏置和温度调整，结果显示：仅用词汇偏置在留出文本上估计恢复不足10%，与温度结合后最高恢复36%，但数学继续预训练造成的损失最大且几乎无法恢复。 这类方法只调整最终 token 预测，不改变模型权重；恢复比例取决于保留的词汇范围和校正数据。在一个随机损坏、未预先植入词汇偏置或温度变化的受控模拟中，两者结合仍恢复了29%，但这不能代表对实际遗忘的普遍效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。