arXiv · Machine Learning· Zhihan Yang, Wei Guo, Shuibai Zhang, Subham Sekhar Sahoo, Yongxin Chen, Arash Vahdat, Morteza Mardani, John Thickstun·· 9 小时前AI 评分45
RePlaid：连续扩散语言模型在语言建模中可与离散扩散竞争并实现规模化
Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
AI 导读
研究团队将 Plaid 架构与现代离散扩散语言模型对齐，构建 RePlaid，展示了基于似然训练的连续扩散可与离散扩散竞争并实现规模化。RePlaid 与自回归模型的计算差距仅为 20×，参数更少时优于 Duo，并在过度训练区间优于 MDLM。在 OpenWebText 上，RePlaid 的困惑度（PPL）界达到连续扩散模型中的新最佳值 22.1，生成质量也更高。
来源：arXiv · Machine Learning · arxiv.org