Together AI 推出 GPU 集群自动修复系统
先了解这件事
Together AI 宣布，其 GPU 集群的自动节点修复（Automatic node remediation）能力已正式可用，把 GPU 故障处理拆成检测、决策、修复、复验四个阶段：前三阶段在用户集群内运行，复验在 Together 自有基础设施的物理主机上完成。 检测同时覆盖 VM 内部与宿主机两侧。VM 内通过 exporter 监控内核日志中的 Xid 错误、GPU 掉出 PCIe 总线、DCGM 的 ECC 双比特错误与热降频，以及 Node Problem Detector 的文件系统只读与 kubelet 重启；宿主机侧监控 InfiniBand 链路抖动与主机可达性。 正式可用的功能包括被动健康检查、修复建议、自动修复策略（含按故障和按节点两种授权方式）、等待空闲控制、升级阶梯、安全护栏，以及 API 与控制台修复。基于节点标签的修复契约、宿主机电源重启仍处于预览阶段；前者允许用户接入 NVSentinel 或自定义控制器等自有检测系统。需要保证替换窗口的集群可预留热备容量，迁移时从该预留中取用，而不占用通用可用容量。 Together AI 称客户喜欢这一能力，并称此次是应需求拆解系统设计与工作原理。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Together AI BlogTogether GPU 集群的自动修复：从 GPU 故障到健康节点
Together AI 为其 GPU 集群推出自动节点修复（Automatic node remediation）能力，把 GPU 故障处理拆成检测、决策、修复、复验四个阶段，前三阶段在用户集群内运行，复验在 Together 自有基础设施的物理主机上完成。检测同时覆盖 VM 内部与宿主机两侧：VM 内通过 exporter 监控内核日志中的 Xid 错误与 GPU 掉出 PCIe 总线、DCGM 的 ECC 双比特错误与热降频、Node Problem Detector 的文件系统只读与 kubelet 重启等，宿主机侧监控 InfiniBand 链路抖动与主机可达性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。