Does Reasoning Make Language Models Agree? 推理是否会提高语言模型的一致性？

Mila Gorecki 和 Moritz Hardt 研究发现，主动提高语言模型的推理力度会增加不同模型对同一个体预测的一致性，而产生较长推理轨迹的个体反而更容易引发模型间预测分歧。研究在来自两个开发者的9个模型和3项分类任务上进行比较，并将模型一致性与准确率所预期的一致性进行对照。两种现象在控制准确率差异后依然存在，说明主动增加推理与观察到较长推理轨迹对应着不同的一致性变化。