- 发布日期
借助 NVIDIA Attribution 诊断分布式 AI 工作负载故障
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
NVIDIA Attribution 帮助分布式 AI 团队找到工作负载故障的根源，而不仅仅是故障浮现的位置。单个 GPU 或互连网络事件可能会在其他 rank 上触发 NCCL 错误、调度器变更以及数千条下游消息。所报告的异常显示的是工作负载停止的位置，而不是故障开始的位置。
NVIDIA Attribution 关联工作负载范围内的日志、指标、遥测数据和调度器状态，以返回结构化诊断。该诊断包括结果、根本原因、受影响的节点、支持性症状以及证据链。通过在工作负载上下文中分析故障，它将这些故障视为工作负载事件，而不是孤立的节点事件。
该软件已在 NVIDIA AI 基础设施的生产环境中使用多年，每周分析数十万个 GPU 上的数百万个工作负载。在一个大型 RDMA 支持的集群中，它关联了端口错误、连接重置和调度器事件，以识别围绕特定主机端口和交换机端口的模式。这些发现帮助团队有针对性地进行网络结构修复和拥塞调优。
NVIDIA Attribution 包含两个可部署组件：NVIDIA Attribution Service 和 NVIDIA Attribution Blueprint，二者均构建在核心归因引擎之上。Service 通过 REST API 提供归因能力，而 Blueprint 将集群调度器和遥测数据源连接到 Service。该工作流会界定一次工作负载尝试的范围、收集观测数据、提取并关联事件，然后返回结果。
确定性规则使结果可复现且可定制，结构化输出支持与现有健康与恢复系统集成。该方法补充了就绪检查、持续健康监控和基础设施修复。它旨在解释工作负载为何失败，而不是仅仅说明它失败了。
在一个多 rank 工作负载中，一个 GPU 命中了 XID 149，随后各 rank 上出现了 NCCL 错误。NVIDIA Attribution 将该 XID 识别为根本原因，并指出了节点名称。随着 AI 集群规模增长，结构化诊断可以帮助运维人员缩短修复时间并提高韧性。
