AI и дата-центры
NVIDIA открыла исходный код Attribution для диагностики сбоев в ИИ-кластерах
Публикация:
NVIDIA опубликовала код системы, которая связывает журналы, метрики и данные планировщика, чтобы находить вероятную причину сбоя распределённой задачи, а не только её последствия.
2 ноября NVIDIA объявила об открытии исходного кода NVIDIA Attribution — системы анализа отказов в распределённых вычислительных задачах. Компания пишет, что использовала её внутри собственной AI-инфраструктуры до публикации проекта; это заявление производителя, а не независимая оценка масштабов применения.
Инструмент рассматривает данные в контексте одной попытки выполнения задачи и объединяет журналы, метрики, телеметрию и состояние планировщика. На выходе он формирует диагноз с предполагаемой первопричиной, затронутыми узлами, сопутствующими симптомами и списком собранных свидетельств.
В проект входят Attribution Service с REST API и Blueprint — эталонный оркестратор на Python, который собирает контекст задачи, передаёт наблюдения сервису и записывает результат. В начальный набор входят адаптеры для Slurm, Kueue и статического ввода, а также сборщики журналов и метрик для Loki, локальных файлов, Kubernetes pod logs и PromQL.
NVIDIA описывает правила корреляции как детерминированные: например, система может связать аппаратную ошибку одного узла с последующими сетевыми сообщениями других участников задачи. При нескольких правдоподобных причинах результат может оставаться неоднозначным; сама компания подчёркивает, что точность зависит от полноты исходной телеметрии.
Attribution объясняет причину отказа, тогда как опубликованный ранее NVIDIA Recovery предназначен для координации восстановления задач. Другой материал USB.RU описывает разделение памяти GPU между нагрузками в Kubernetes.
Для запуска NVIDIA предлагает локальный пример с Docker и менеджером пакетов uv, а для работы на собственном кластере нужны подключённые планировщик и источники телеметрии. Attribution выдаёт диагноз и доказательства для следующего шага, но сама не изолирует узлы и не перезапускает задачи; без подходящих данных её вывод может быть неопределённым.