Together GPU 集群的自动修复：从 GPU 故障到健康节点

Together AI 为其 GPU 集群推出自动节点修复（Automatic node remediation）能力，把 GPU 故障处理拆成检测、决策、修复、复验四个阶段，前三阶段在用户集群内运行，复验在 Together 自有基础设施的物理主机上完成。检测同时覆盖 VM 内部与宿主机两侧：VM 内通过 exporter 监控内核日志中的 Xid 错误与 GPU 掉出 PCIe 总线、DCGM 的 ECC 双比特错误与热降频、Node Problem Detector 的文件系统只读与 kubelet 重启等，宿主机侧监控 InfiniBand 链路抖动与主机可达性。