arXiv · Machine Learning· Fei Wang, Baochun Li, Bo Li·· 8 小时前AI 评分50
MoE 微调大模型中的可恢复专家利用特征与结构记忆安全风险
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
AI 导读
Fei Wang、Baochun Li 和 Bo Li 研究发现，经过微调的 MoE 大模型不仅会记忆训练数据，还会记忆处理数据时使用的内部专家路由路径，形成具有训练过程特征的路由指纹。
来源：arXiv · Machine Learning · arxiv.org