微调 MoE 模型暴露专家路由结构记忆风险

Fei Wang、Baochun Li 和 Bo Li 发现，微调后的混合专家（MoE）大语言模型不仅会记忆训练数据，还会记忆处理数据时经过的内部专家路由路径，形成可恢复的结构记忆和路由指纹。研究表明，即使使用少量样本进行微调，也可能产生这种记忆，其强度受可训练模块的选择影响。 研究人员进一步发现，攻击者无需掌握微调数据或训练过程，仅通过模型无条件生成时暴露的路由信息和输出 logits，就能隐蔽地恢复这些专家路径。在联邦聚合节点、边缘云接口和多租户监控系统等分布式部署场景中，路由信息经过多个信任边界，进一步扩大了泄露风险。为检测这一问题，研究提出结合参考模型尾部似然与复杂度感知归一化的复合指标，以提高对记忆路由结构的检测能力。该研究揭示了 MoE 模型除训练数据记忆外，还存在内部计算结构泄露这一安全风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。