arXiv · Machine Learning· Suwan Wu, Yumeng Lin, Pengcheng Yuan, Xiaolong Jiang·· 8 小时前AI 评分41
面向 On-Policy 知识蒸馏的统一逐 Token 门控框架：结合 FKL/RKL 混合、多通道与偏置系数
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
AI 导读
研究提出一种用于 On-Policy 知识蒸馏（OPD）的四系数逐 Token 门控参数化方法，将 EOPD 和 ToDi 的门控设计纳入统一框架，并增加多通道组合与显式偏置。在 TweetEval 的情绪和仇恨分类任务中，完整框架在 36 组可比配置中的 33 组准确率更高；三种随机种子的配对复现实验方向一致，但单项结果未达到显著性。
来源：arXiv · Machine Learning · arxiv.org