Облачные сервисы
SageMaker AI позволит размещать несколько моделей на одном GPU
Публикация:
Amazon SageMaker AI добавил разделение GPU для эндпоинтов инференса в реальном времени: несколько моделей смогут работать на одном ускорителе в отдельных аппаратно изолированных секциях. По данным AWS, один GPU можно разделить максимум на семь частей.
AWS объявила о поддержке GPU partitioning в Amazon SageMaker AI 30 октября 2026 года. Возможность предназначена для real-time inference endpoints: несколько моделей можно разместить на одном физическом GPU, разделённом с помощью NVIDIA Multi-Instance GPU (MIG). Каждая секция получает собственную память и вычислительные ресурсы.
При создании endpoint команда выбирает разделение ускорителя и назначает модели подходящие по размеру части. AWS указывает, что один GPU можно разделить максимум на семь изолированных секций. Вызов моделей остаётся прежним — по имени, поэтому менять код приложения для этого не требуется.
Функция рассчитана, в частности, на небольшие и средние модели: дообученные варианты, модели эмбеддингов, reranker-системы и классификаторы. AWS отмечает, что прежде таким моделям часто выделяли целый ускоритель, хотя они не использовали всю его ёмкость. Поддерживаются инстансы P4d, P5, G7 и G7e в регионах США Восток (Северная Вирджиния и Огайо), США Запад (Орегон), Сингапура, Токио, Франкфурта и Ирландии.
Новость касается управляемых inference endpoints SageMaker AI, а не всех вычислительных сервисов AWS. Ранее AWS добавила другой способ совместно использовать GPU — NVIDIA MPS в Amazon ECS. Для SageMaker также опубликовано отдельное обновление о запуске контейнеров с индексами SOCI; оно ускоряет загрузку образов, а не делит GPU между моделями: поддержка SOCI в SageMaker AI. Эти функции решают разные задачи.