T2D论文提出从目标模型剪枝构建草稿模型

1. 12:00
   arXiv · Machine Learning

   T2D：面向高效投机解码的目标模型剪枝与适配

   T2D提出直接从目标模型构建草稿模型的框架，以提升大语言模型的投机解码表现。该框架结合延迟感知结构化剪枝与知识蒸馏，联合优化实测推理延迟和目标模型响应的交叉熵损失；多领域基准测试显示，剪枝比例最高可达92%。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。