arXiv · Machine Learning· Ruwen Fan (Jimmy), Yuezhi Zu (Jimmy), Minhui Xie (Jimmy), Junru Li (Jimmy), Qingda Hu (Jimmy), Xinjun (Jimmy), Yang, Jiwu Shu, Youyou Lu·· 10 小时前AI 评分65
CoMoE 以消费级 GPU 推进 MoE 推理部署
Democratizing MoE inference on commodity GPUs with CoMoE
AI 导读
CoMoE 是一个面向消费级 GPU 的通信高效 MoE 推理系统，通过主机中心路由降低 Expert Parallelism 带来的通信开销。
来源：arXiv · Machine Learning · arxiv.org