NVIDIA Attribution 用于诊断分布式 AI 工作负载故障

NVIDIA 介绍了 NVIDIA Attribution 分布式故障诊断方法，通过分析工作负载证据，帮助定位分布式 AI 工作负载的故障根因。该方法针对 GPU 或网络互连事件引发的连锁异常，分析故障起点与后续错误之间的关系。 在分布式训练中，单个 GPU 或网络互连故障可能导致其他 rank 出现 NCCL 错误、调度器状态变化及大量下游消息。因此，日志或监控实际报告异常的位置不一定是真正的故障起点。NVIDIA 通过示例工作负载证据讲解如何使用该方法开展诊断。</escape>

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。