arXiv · Machine Learning· Shahriar Kabir Nahin, Xiao Ye, Muhao Chen, Ben Zhou, Anshuman Chhabra·· 13 小时前AI 评分37
T2D：面向高效投机解码的目标模型剪枝与适配
T2D: Target-to-Draft Model Pruning & Adaptation for Efficient Speculative Decoding
AI 导读
T2D提出直接从目标模型构建草稿模型的框架，以提升大语言模型的投机解码表现。该框架结合延迟感知结构化剪枝与知识蒸馏，联合优化实测推理延迟和目标模型响应的交叉熵损失；多领域基准测试显示，剪枝比例最高可达92%。
来源：arXiv · Machine Learning · arxiv.org