arXiv · Machine Learning· Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun·· 13 小时前AI 评分46
BASTION：采用树结构块扩散草稿的预算感知投机解码
Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting
AI 导读
BASTION提出预算感知投机解码框架，通过树结构块扩散草稿动态构建依赖查询的树，在草稿质量与硬件约束间权衡。跨多种基准和GPU架构，该方法较标准自回归解码最高提速6.61×，较先进块扩散基线高39%。BASTION无需训练，保持目标模型分布，且无需针对不同设置调参。
来源：arXiv · Machine Learning · arxiv.org