BCL提出无协调训练负载均衡方法

Tao Huang等提出Batch Cost Lookahead（BCL）数据加载策略，在每个rank本地缓冲有限窗口并重分配固定数量的数据包，以降低可变成本分布式训练中的批次开销差异；论文报告称，该方法无需跨rank元数据交换或修改运行时。论文称，在公开工作负载模拟中，BCL将各rank估计批次成本的差异最多降低82.8%；在8张H200 GPU上测试13个NeMo-RL SFT语料库时，BCL相对池化MFFD的运行速度为其1.050至1.167倍。对于高方差或容易OOM的数据，仍需先用p99上限约束异常值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。