arXiv · Machine Learning· Yunkai Chai, Tong Zhu, Xiaoye Qu, Xuyang Hu, Guanjie Chen, Qipeng Guo, Yu Cheng·· 8 小时前AI 评分59
Elastic Expert Routing 平滑稀疏混合专家模型的 Top-k 路由边界
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
AI 导读
论文提出 Elastic Expert Routing，通过围绕 k 的局部离散分布随机采样激活专家预算，平滑稀疏混合专家模型固定 top-k 路由的边界，同时保持预期计算成本与推理预算。
来源：arXiv · Machine Learning · arxiv.org