DualPace提出GPU与CPU协同解码运行时
热点事件持续更新
DualPace提出GPU与CPU协同解码运行时
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
YuXuan Lin、KeQiang Wu和Kingsum Chow提出大语言模型服务运行时DualPace；作者称，在面向解码的场景中，其吞吐量较NEO提升6.9%—43.2%、较vLLM提升11.5%—90.6%，同时维持相同延迟。 DualPace将GPU上的prefill与解码调度和基于AMX CPU的解码引擎分开，CPU解码既可在本地执行，也可调用GPU Dense Assist。上述性能结果来自作者的评测。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
DualPace：面向LLM服务的解耦调度与GPU-CPU协作解码报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningDualPace：面向LLM服务的解耦调度与GPU-CPU协作解码
DualPace提出一种LLM服务运行时，将GPU上的prefill与解码和AMX CPU上的解码引擎分离调度，同时支持CPU本地执行或调用GPU Dense Assist。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。