研究揭示大语言模型成员信号的内部机制

研究人员 Wenxi Dai、Jingyu Hu、Yanting Yang 和 Mengnan Du 对大语言模型的成员身份推断信号开展机制分析，提出 DUG 三项指标，分别衡量模型内部可解码的成员信息、实际使用的信息及读出可及性差距，以区分成员信息是否存在于内部表征，以及能否通过模型读出机制体现出来。 研究发现，在监督微调（SFT）下，成员身份信号同时体现在可解码信息量和读出程度上；在基于强化学习（RL）的成员推断方法中，差异则主要体现在读出机制。激活修补实验进一步将相关效应定位到模型中间层。研究还发现，模型行为可能发生变化，但基于似然的成员推断信号未必同步增强。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。