arXiv · Machine Learning· Durga Prasad Maram, Dhruvesh Patel, Tahira Naseem, Benjamin Rozonoyer, Gaurav Pandey, Ram\'on Fernandez Astudillo, Andrew McCallum·· 10 小时前AI 评分39
生、死与差分：δMDM 的带纠错插入式序列生成
Birth, Death and Diff: Insertion-Based Sequence Generation with Corrections
AI 导读
研究者提出 δMDM，在插入式 masked diffusion model 中加入替换和删除操作，使中间生成结果可修订，并支持更激进的解码。在 OpenWebText 高多样性无条件文本生成中，最高推理预算下其生成困惑度降至 FlexMDM 的一半，且各预算下均低于从头训练的变长填充 MDM。在 TinyGSM 条件文本生成中，δMDM 以一半 NFEs 达到 FlexMDM 的准确率。
来源：arXiv · Machine Learning · arxiv.org