arXiv · Machine Learning· Yuxiao Chen, Changxiao Cai·· 10 小时前AI 评分41
Packed-SS：基于扩散草稿的单次调用打包式自推测解码
One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
AI 导读
Packed-SS 在一次模型调用中验证当前草稿并构建下一轮草稿，使输入规模随推测宽度线性增长，同时保持目标模型分布。Nemotron 3B/8B 和 SetDLM 1.7B 的贪心解码实验显示，其吞吐高于两种基线、平均墙钟时间更低；在草稿器满足温和单调性假设时，所需模型调用数不多于标准双调用方案。
来源：arXiv · Machine Learning · arxiv.org