AI модели, агенты и вычисления
Ai2 рассказала, как распределяет GPU-время между исследовательскими проектами
Публикация:
Ai2 опубликовала описание планировщика, который распределяет GPU-время по бюджетам исследовательских проектов. Материал от 9 октября посвящён загрузке кластеров и выбору задач, получающих доступ к вычислениям.
Команда перешла от приоритетов отдельных заданий к иерархическим бюджетам времени. Планировщик учитывает долю ресурсов, выделенную проекту, и его недавнее использование кластера. По умолчанию в описанной системе используется окно в семь дней.
Задание также указывает минимальное время работы. В пределах этого интервала оно защищено от вытеснения; затем допускается перераспределение ресурсов и повторная постановка возобновляемой задачи в очередь. Источник: публикация команды Ai2 на Hugging Face.
Такой подход интересен организациям, где несколько команд делят дорогие ускорители. Список приоритетов приходится дополнять правилами: кто оплачивает занятое GPU-время, как возобновить прерванную задачу и сколько ресурсов действительно использует процесс.
Описанные результаты относятся к инфраструктуре Ai2. Чтобы оценить похожую схему у себя, нужны собственные измерения ожидания в очереди, полезной загрузки и стоимости завершённой задачи.
Для оценки расходов пригодится материал о стоимости AI-задачи. Устройство соединений между вычислительными узлами разбирает статья о сетях InfiniBand.