AI и дата-центры
Amazon ECS научился делить GPU между задачами через NVIDIA MPS
Публикация:
Несколько задач Amazon ECS теперь могут работать на одном ускорителе NVIDIA через Multi-Process Service. Настройка позволяет задать потребность контейнера в видеопамяти и, при необходимости, ограничить долю вычислительных ресурсов.
27 октября AWS объявила о поддержке совместного использования GPU в Amazon Elastic Container Service (ECS) через NVIDIA Multi-Process Service (MPS). Несколько задач ECS могут выполняться одновременно на одном физическом ускорителе NVIDIA. AWS называет среди подходящих сценариев инференс небольших моделей, генерацию эмбеддингов, симуляции и обслуживание нескольких моделей.
При настройке контейнера оператор задаёт необходимый объём памяти GPU и может дополнительно указать верхний предел вычислительной доли. ECS размещает задачи на ускорителях, где есть свободная ёмкость; AWS отмечает, что менять код приложения для этого не требуется.
Функция работает в Amazon ECS Managed Instances и ECS на Amazon EC2. В Managed Instances сервис также следит за управляющим процессом MPS: если тот перестаёт работать или становится нездоровым, ECS заменяет экземпляр и переносит задачи на исправную ёмкость. AWS сообщает о доступности функции во всех коммерческих регионах и регионах GovCloud в США.
Совместное использование может помочь плотнее размещать нагрузки, которым не нужен весь ускоритель, и повышать его утилизацию. Это заявление AWS о назначении функции, а не опубликованный сравнительный тест: компания не приводит в анонсе измеренный процент экономии или прироста производительности. Результат для конкретного кластера будет зависеть от профиля задач и их запросов к GPU.
В отличие от разделения памяти GPU для задач Kubernetes, о котором мы писали в материале про оператор NVIDIA GPU Fractioning, здесь новая функция встроена в ECS. А о другом способе сократить ожидание ускорителей в AWS — загрузке контейнеров SageMaker по мере необходимости — читайте в заметке о SOCI-индексированных образах.