arXiv · Machine Learning· Aidar Myrzakhan, Zhiqiang Shen·· 9 小时前AI 评分38
dSpark：学习扩散语言模型何时提交 token——面向快速生成的调度蒸馏
Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
AI 导读
dSpark提出基于调度蒸馏的框架，学习扩散语言模型提交 token 的时机，以加快并行生成。在 GSM8K 上，LLaDA-8B-Instruct 和 Dream-7B-Instruct 相较各类基线分别实现 10.12×、5.12× 加速，同时保持更优任务表现；KL 散度正则项用于帮助维持生成质量。
来源：arXiv · Machine Learning · arxiv.org