跳到正文
arXiv · Machine Learning· Jama Hussein Mohamud, Mohsin Hasan, Mirco Ravanelli, Yoshua Bengio·· 16 小时前AI 评分34

掩码扩散的自适应顺序策略

Adaptive Order Policies for Masked Diffusion

AI 导读

研究者为掩码扩散模型提出自适应解掩码顺序策略,并在多类顺序敏感任务上优于常见启发式方法。该方法通过轻量级策略网络按策略概率重加权掩码扩散损失,可在冻结预训练去噪器时单独训练策略,也可联合训练策略与去噪器;测试涵盖组合问题、蛋白质及多种代码和语言任务。

来源:arXiv · Machine Learning · arxiv.org