作者团队提出并评测 RePlaid
热点事件持续更新
作者团队提出并评测 RePlaid
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究团队提出并评测了 RePlaid 连续扩散语言模型；结果显示，在与现代离散扩散模型对齐架构后，基于似然训练的连续扩散模型可以与离散扩散模型竞争并实现规模化。RePlaid 与自回归模型的计算差距缩小至 20 倍。 在参数更少的情况下，RePlaid 的表现优于 Duo，并在过度训练区间优于 MDLM。在 OpenWebText 上，其困惑度达到 22.1，研究团队称这是连续扩散模型的新最佳值，同时报告了更高的生成质量。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
RePlaid：连续扩散语言模型在语言建模中可与离散扩散竞争并实现规模化报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningRePlaid：连续扩散语言模型在语言建模中可与离散扩散竞争并实现规模化
研究团队将 Plaid 架构与现代离散扩散语言模型对齐，构建 RePlaid，展示了基于似然训练的连续扩散可与离散扩散竞争并实现规模化。RePlaid 与自回归模型的计算差距仅为 20×，参数更少时优于 Duo，并在过度训练区间优于 MDLM。在 OpenWebText 上，RePlaid 的困惑度（PPL）界达到连续扩散模型中的新最佳值 22.1，生成质量也更高。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。