Облачные сервисы
AWS ускорила запуск контейнеров SageMaker AI с ленивой загрузкой SOCI
Публикация:
Amazon SageMaker AI теперь может запускать training- и processing-задания до полной загрузки контейнера. В тестах AWS образ размером 13,2 ГБ запускался примерно за шесть секунд вместо 3 минут 42 секунд; результат зависит от того, какие файлы нужны приложению при старте.
27 октября AWS объявила о поддержке Seekable OCI (SOCI) для training- и processing-заданий Amazon SageMaker AI. Если образ хранится в Amazon Elastic Container Registry (ECR) и снабжён SOCI-индексом, сервис может начать запуск контейнера до окончания полной загрузки.
Индекс SOCI сопоставляет файлы внутри образа с их расположением, поэтому сначала сервис получает только необходимое для старта, а остальное загружает по мере чтения в фоне. AWS предлагает использовать предварительно индексированные Deep Learning Containers с суффиксом -soci или создать индекс для собственного образа. Конфигурацию задания менять не требуется; при отсутствии индекса или сбое lazy loading SageMaker AI возвращается к обычной загрузке.
В тестах AWS сравнила восемь образов размером от 1,8 до 35,4 ГБ. Для образа 13,2 ГБ медианное время загрузки снизилось с 3 минут 42 секунд до примерно шести секунд, а для образа 35,4 ГБ — с 7 минут 17 секунд до 3–11 секунд. Компания измеряла результат на собственных заданиях SageMaker AI; это не независимый бенчмарк.
В двух проверенных сценариях итоговое время задания сократилось на одну–шесть минут. При этом первая эпоха обучения занимала на 3–16 секунд больше, пока подгружались затребованные файлы; со второй эпохи время было сопоставимым. Если код заранее читает почти весь образ, выигрыш будет небольшим.
Поддерживаются образы из приватных репозиториев Amazon ECR. Образы из других реестров не подходят; есть также ограничения для частного Docker-реестра при TrainingRepositoryAccessMode=Vpc. AWS отмечает меньший эффект для образов легче примерно 4 ГБ. Среда SOCI основана на containerd, поэтому перед переходом стоит проверить скрипты, использующие Docker CLI или сокет Docker. Функция доступна во всех регионах AWS.
Для команд, часто запускающих задания с крупными контейнерами, SOCI может сократить оплачиваемое ожидание GPU, но эффект зависит от содержимого образа и кода на старте. В SageMaker AI AWS также добавила бессерверные training sessions для настройки моделей; для запуска PyTorch на ускорителях Trainium предназначен отдельный стек AWS Neuron 2.33. Это отдельные инструменты, SOCI не требует их использования.