arXiv · Machine Learning· Hao-Yuan He, Peng-Fei Liu, Chen Chen, Si Shen, Quan He, Runzhou Liu, Xinqi Li, Zhenhua Dong, Ming Li·· 13 小时前AI 评分40
LongSpark：固定成本并行草稿器实现高效推测解码
LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter
AI 导读
LongSpark提出一种固定成本的块扩散草稿器，从目标模型的验证过程中提取固定大小的多尺度视图，使草稿解码成本不再随前缀长度增长。评测显示，它在多种模型规模和真实服务条件下实现先进的端到端效率，在长上下文任务中每输出 token 耗时最低，并将草稿器上下文状态缩减数个数量级。
来源：arXiv · Machine Learning · arxiv.org