减少损失，权重不变：通过 Logit 校正缓解模型遗忘

研究人员探索能否通过调整模型最终 token 预测来恢复微调或继续预训练造成的遗忘，并在14组、参数规模为1B至7B的基础模型与衍生模型上进行测试。仅使用词汇偏置最多恢复不足10%的损失，结合温度调整后最高恢复36%；数学继续预训练造成的损失最大，且几乎无法恢复。