KT-FT推出CPU/GPU协同微调方案

清华大学MADSys实验室与趋境科技提出并开源KTransformers-FineTune（KT-FT），让CPU负责计算MoE专家模块、GPU负责Attention模块，以减少专家权重经PCIe传输的开销；项目方称，其吞吐量达到传统卸载方案的2.5至21.2倍。 KT-FT还结合语义感知布局和针对路由倾斜的动态线程调度，并支持在相同硬件条件下一键执行LoRA微调与推理。项目方称，该方案与LlamaFactory团队共同建设开源生态，为社区、学界和业界提供低成本的微调与推理方案。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。