离散扩散采样提出持久上下文方法

Satoshi Hayakawa为均匀状态离散扩散模型提出无需训练的承诺揭示采样（CRS），将选出的 argmax token 保留在后续模型输入中；报告称，在其测试中，CRS生成困惑度低于固定截断基线。 这一结果适用于不使用 top-p 截断、与 p=0.95 和 p=0.9 基线比较的设置，计算预算为8至64次函数评估；在64次评估且 unigram 熵匹配时，CRS的生成困惑度也较低。报告还称，在相同的后期 top-p 阈值下，持久上下文降低了基于固定 GPT-2-Large 表征计算的、与留出文本的分布距离。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。