arXiv · Machine Learning· YuXuan Lin, KeQiang Wu, Kingsum Chow·· 10 小时前AI 评分52
DualPace：面向LLM服务的解耦调度与GPU-CPU协作解码
DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving
AI 导读
DualPace提出一种LLM服务运行时，将GPU上的prefill与解码和AMX CPU上的解码引擎分离调度，同时支持CPU本地执行或调用GPU Dense Assist。
来源：arXiv · Machine Learning · arxiv.org