arXiv · Machine Learning· Tao Huang, Chen Zhu, Antonio Alonso, Daming Li, Adarsh Goura, Jaideep Ray, Yitong Zhou·· 10 小时前AI 评分74
BCL：面向变成本分布式训练的无协调工作负载正则化
Coordination-Free Workload Regularization for Variable-Cost Distributed Training
AI 导读
Tao Huang 等提出 Batch Cost Lookahead（BCL），通过在数据加载阶段缓冲并重分配固定数量的数据包，降低同步数据并行训练中的 rank 间批次成本差异。
来源：arXiv · Machine Learning · arxiv.org