Netflix 将 GPU 可靠性视为分布式系统问题

Netflix在Kubernetes上构建面向大规模GPU训练与推理的可靠性平台，通过分层健康检查、自动修复和容错训练应对硬件故障。平台使用NVIDIA DCGM和网络接口检查识别故障，并按问题逐步阻止新任务、排空节点或重启、更换机器；训练任务则通过检查点、弹性worker和自动重试从机器损失中恢复。